Genie 4 от Google Deepmind: современный взгляд на конструкции агентов, существовавшие ещё до LLM

Genie 4 должна в реальном времени симулировать интерактивные миры, включая звук и говорящих персонажей. Модели Gemini в фоновом режиме планируют, что произойдёт в симуляции дальше. Пока попробовать эту модель мира могут только избранные тестировщики.

Google Deepmind представила Genie 4 — преемника Genie 3, который компания показала в августе 2025 года. Модель мира не создаёт готовые видео, а рассчитывает сцену покадрово, реагируя на ввод по ходу дела. Пользователи перемещаются по сцене с помощью клавиатуры и управляют событиями с помощью текстовых промптов.

По словам Deepmind, Genie 4 — первая в компании модель мира реального времени, которая генерирует звук напрямую. Компания утверждает, что у каждого мира есть собственный фоновый звук, например шум ветра в деревьях. Genie 4 также поддерживает диалоги: персонажи должны разговаривать друг с другом и в реальном времени реагировать на действия пользователя или происходящие события.

Наибольший прирост реализма Deepmind видит в том, как модель отображает людей. Персонажи должны двигаться естественно и реагировать на окружение, а пользователи — иметь возможность управлять ими напрямую.

Модели Gemini планируют наперёд, чтобы мир оставался связным

По словам Deepmind, Genie 4 опирается на возможности видеомодели Gemini Omni, чтобы мир выглядел и вёл себя реалистично. Другие модели Gemini помогают планировать симуляцию, чтобы она оставалась согласованной.

Если пользователь меняет погоду текстовым промптом, Gemini должна адаптировать инструкцию к идущей сцене. Deepmind утверждает, что Gemini также управляет событиями между вводами пользователя, чтобы мир продолжал развиваться осмысленно.

Deepmind объясняет этот процесс на примере многошаговых задач. Gemini 3.8 Flash непрерывно наблюдает за сценой, разбивает цель на шаги и по новым кадрам проверяет, удался ли каждый шаг. Если мир меняется или пользователь вмешивается, модель корректирует свой план.

Deepmind также тестирует Gemini 4 Argon, чтобы связать работу над Genie со своими исследованиями в области робототехники — Gemini Robotics. В одной из демонстраций Argon разбивает задачу игры в шашки на шаги. Genie 4 получает их в виде текстовых инструкций и использует, чтобы симулировать, как гуманоидный робот Apollo компании Apptronik играет в эту игру, причём реальный робот не задействован.

На длинных сессиях модель всё ещё сбивается

Deepmind называет Genie 4 ранней, экспериментальной моделью. По словам компании, мир остаётся согласованным в течение коротких сессий, но визуальные детали могут смещаться, а объекты не всегда сохраняются в более длинных симуляциях или после нескольких сложных изменений промпта.

Deepmind говорит, что всё ещё исследует сложные физические взаимодействия, точный звук в реальном времени и читаемый текст.

Пока Genie 4 доступна только избранным тестировщикам в формате исследовательского превью. Вскоре она должна появиться у подписчиков Google AI Ultra в веб-приложении Project Genie, а также у партнёров с ранним доступом к Gemini API и Google AI Studio.

Google сообщает, что все видео- и аудиодорожки будут нести её водяной знак SynthID, который незаметно маркирует контент, созданный ИИ.

Когда модели мира созреют, они смогут служить обучающими средами, где роботы и ИИ-агенты учатся на симулированном опыте, а не только на данных. Deepmind рассматривает сочетание Gemini с Genie как ранний шаг к гибридным моделям мира, которые объединяют рассуждения языковых моделей и моделей для работы с кодом с симуляцией на уровне пикселей.

Новости об ИИ без шумихи — подборка, составленная людьми

Оформите подписку на THE DECODER, чтобы читать без рекламы, получать еженедельную рассылку об ИИ, наш эксклюзивный отчёт о передовых разработках «AI Radar» шесть раз в год, доступ ко всему архиву и к разделу комментариев.

Оформить подписку