Meta официально анонсировала Llama 4 — новую серию моделей генеративного ИИ, которая уже интегрирована в их ассистент на платформах WhatsApp, Messenger и Instagram. Эта коллекция включает модели Llama 4 Scout и Llama 4 Maverick, которые уже доступны для загрузки на Meta и Hugging Face. Llama 4 Scout, меньшая по объему модель, способна работать на одном графическом процессоре Nvidia H100, а Llama 4 Maverick по своим характеристикам напоминает GPT-4o и Gemini 2.0 Flash.
По словам Meta, Llama 4 Scout имеет контекстное окно в десять миллионов токенов и превосходит модели Google Gemma 3 и Gemini 2.0 Flash-Lite, а также открытый код Mistral 3.1 по многим показателям. Большая модель Maverick также демонстрирует высокую производительность по сравнению с OpenAI GPT-4o и Google Gemini 2.0 Flash, при этом используя меньше половины активных параметров.
В настоящее время Meta продолжает тренировать Llama 4 Behemoth, которая имеет 288 миллиардов активных параметров и два триллиона параметров в целом. Хотя эта модель еще не выпущена, Meta заявляет, что Behemoth способна превосходить конкурентов по нескольким показателям в области STEM. Для Llama 4 компания перешла на архитектуру «микса экспертов», что позволяет сохранять ресурсы, используя только те части модели, которые нужны для выполнения конкретной задачи.
Meta продолжает позиционировать Llama 4 как «открытый код», хотя эта лицензия имеет определенные ограничения. Например, коммерческие организации с более чем семьюстами миллионами активных пользователей в месяц должны получить разрешение от Meta для использования её моделей. Это вызвало критику со стороны Open Source Initiative, которая считает, что такая лицензия не соответствует принципам открытого кода.
