В честь первой годовщины Mistral 7B компания Mistral AI представила новые модели Ministral 3B и Ministral 8B, разработанные специально для использования на устройствах и в прикладных сценариях на грани вычислений. Эти модели нацелены на обеспечение высокой производительности и эффективности в рамках категории до 10 миллиардов параметров, предлагая до 128 тысяч контекстной длины (текущая версия поддерживает 32 тысячи).
Ministral 8B выделяется инновационной структурой интерлеванного оконного механизма внимания, что позволяет снизить задержку и оптимизировать использование памяти. Это делает модели идеальным решением для локальных вычислений без подключения к интернету — например, для автономных роботов, локальной аналитики и перевода прямо на устройстве.
Модели Ministral 3B и 8B также могут работать как эффективные промежуточные звенья в сложных рабочих процессах, где их способность вызова функций и распределения задач обеспечивает минимальные задержки. В сочетании с более крупными языковыми моделями, такими как Mistral Large, они позволяют настроить гибкую и экономную обработку данных по запросу.
С сегодняшнего дня обе модели доступны для использования на платформе компании. Стоимость составляет $0,1 за миллион токенов для Ministral 8B и $0,04 для Ministral 3B. Mistral AI также предлагает помощь в настройке и квантовании моделей для максимальной производительности в конкретных задачах пользователей.
