Google представила нейросеть GameNGen для создания неотличимых от игры видео

Для реализации идеи исследователи первоначально подготовили агента для игры в Doom, что обеспечило автоматический сбор данных для основного набора данных нейросети. По словам разработчиков, привлечение людей к этому процессу значительно затянуло бы его. Полученные данные использовались для обучения модели Stable Diffusion 1.4, которая научилась генерировать следующий кадр игры на основе текущего кадра и действий игрока. Особое внимание было уделено стабильности генерируемых кадров, чтобы объекты не меняли своего положения, а персонажи сохраняли свой внешний вид.

В конечном результате GameNGen продемонстрировал возможность интерактивной имитации классического Doom со скоростью более 20 кадров в секунду при выполнении на одном тензорном процессоре (TPU) от Google. Для оценки качества генерации была привлечена группа из 10 экспертов, которым показывали 130 роликов, где имитация воспроизводилась вместе с оригинальной игрой. Продолжительность роликов составляла 1,6 и 3,2 секунды. Экспертам предлагалось определить, какая запись принадлежит настоящей игре. Для роликов продолжительностью 1,6 секунды доля правильных ответов составила 58%, для 3,2-секундных роликов — 60%.