Google представила Magenta RealTime — открытую ИИ-модель для создания музыки в реальном времени. Она отличается тем, что реагирует на текстовые подсказки, аудио образцы или их сочетание, что позволяет пользователям экспериментировать с различными способами взаимодействия с музыкой. Модель построена на архитектуре Transformer с 800 миллионами параметров и обучена на примерно 190 тысячах часов музыки (преимущественно инструментальной).
Модель подойдет как для энтузиастов, так и для музыкантов, которые хотят попробовать создание музыки с помощью ИИ. Каждый желающий может бесплатно протестировать Magenta RT на Colab TPU.
Код и сама модель доступны под открытыми лицензиями на GitHub и Hugging Face, что дает возможность разработчикам и музыкантам свободно использовать и изменять инструмент. В ближайшее время Google планирует добавить возможность локального использования, расширить варианты настройки и опубликовать научную статью о Magenta RT.
