Представленные Meta примеры демонстрируют, как Movie Gen создает видео с животными, плавающими или занимающимися серфингом, а также использует реальные фото пользователей, чтобы изобразить их во время различных действий, например, во время рисования. Модель также умеет синхронизировать звуковые эффекты с видеоконтентом, что значительно расширяет ее возможности. «Movie Gen» позволяет редактировать уже существующие видео — в одном из примеров инструмент добавил помпоны в руки мужчине, бегущему в пустыне, а в другом — изменил сухой асфальт на лужи под скейтбордистом.
Согласно данным Meta, видео могут длиться до 16 секунд, в то время как звуковое сопровождение — до 45 секунд. Результаты тестирований показали, что Movie Gen не уступает продуктам конкурентов.
Выпуск этого инструмента происходит на фоне дискуссий в Голливуде о использовании ИИ в производстве фильмов, которые начались после презентации OpenAI модели Sora в начале года. Meta отметила, что не планирует делать Movie Gen доступным для разработчиков, как это было с серией языковых моделей Llama, а скорее будет сотрудничать с представителями индустрии развлечений и интегрировать инструмент в собственные продукты.
Для создания Movie Gen компания использовала смесь лицензированных и общедоступных данных, как указано в исследовательском документе, опубликованном Meta. Компания также отметила, что продолжает оценивать риски, связанные с использованием ИИ, в том числе и возможность создания дипфейков, вызывающих беспокойство во время выборов в разных странах.
