Компания Runway представила пять обновлений в сфере ИИ во время Research Demo Day. В ближайшее время пользователи получат доступ к возможности одновременно генерировать и редактировать аудио в модели Gen-4.5, а также редактировать видео любой длины благодаря функции многокадрового монтажа.
Runway анонсировала первую модель для взаимодействия с реальным миром General World — GWM-1. Она работает на основе Gen-4.5, но является авторегрессивной и прогнозирует видео покадрово с учетом предыдущих действий. Можно изменять ход событий через интерактивные действия, например перемещение в пространстве или управление роботом.
Модель GWM Worlds позволяет создавать реалистичные среды в реальном времени. Пользователь задает статичную сцену, а ИИ формирует бесконечное пространство с геометрией, освещением и физикой. Можно выбирать разные роли — от человека в городе до дрона над горами или робота на складе.
Модель GWM Avatars генерирует видео персонажей с естественными движениями и мимикой, которыми можно управлять через аудио. Она поддерживает как фотореалистичных, так и стилизованных героев.
Последнее обновление — GWM Robotics. Это симулятор, который создает синтетические данные для обучения роботов и тестирования политик, что помогает обойти ограничения физического оборудования.
