Google DeepMind представила новую возможность для моделей Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite: агентное понимание видео. Это значит, что модель не гонит видео по фиксированному алгоритму, а сама решает, что смотреть, с какой скоростью и через какую модальность (картинки, звук или транскрипты).
Такой подход позволяет динамически фокусироваться на релевантных сегментах видео, что приводит к значительной экономии ресурсов и повышению точности. В сравнении с традиционными методами, сокращение потребления токенов достигает 88%, а затрат - до 66%. При этом качество и точность анализа видео повышаются до 7%. Доступно через Gemini API и Google AI Studio.
Раньше для анализа видео требовалось перегонять весь поток покадрово, тратя огромное количество токенов даже на неинформативные моменты. Теперь Gemini сам «решает», на какие сегменты стоит обратить внимание, что позволяет эффективно «искать иголку в стоге сена» в длинных видео, например, при поиске определенных событий или действий.
Первое, что я проверю с новой возможностью, - как изменится стоимость и точность распознавания действий на видео в контексте систем безопасности или мониторинга производственных процессов. Это напрямую влияет на эффективность и ROI для задач, где раньше приходилось жертвовать либо глубиной анализа, либо бюджетом.
Кому это полезно:
- Для тех, кто строит решения по анализу видеоконтента (например, в логистике, системах безопасности, ритейле).
- Для разработчиков, чьи агенты должны понимать происходящее на видео без перебора каждой секунды.
- Для тех, кто уперся в стоимость обработки видео в мультимодальных сценариях.
Кому это не так актуально:
- Для простых задач, где достаточно анализа статических изображений.
- Для тех, кто уже имеет высокооптимизированные и специализированные пайплайны, не требующие гибкости агентного подхода.