Компания «Mistral» анонсировала новую модель генеративного ИИ — Mistral Small 3, которая имеет 24 миллиарда параметров. Она работает быстрее, чем более крупные модели, такие как Llama 3.3 70B, и является отличной альтернативой закрытым проприетарным моделям. Эта модель оптимизирована для быстрых ответов с низкой задержкой, что делает ее особенно привлекательной для локального использования.
Mistral Small 3 предназначена для выполнения 80% задач генеративного ИИ, требующих точности и скорости выполнения. Модель обеспечивает высокую производительность при меньшем количестве слоев, что значительно сокращает время обработки. С более чем 81% точностью на тестах MMLU и задержкой 150 токенов в секунду, она является наиболее эффективной в своей категории.
Открытый доступ к Mistral Small 3 предоставляется под лицензией Apache 2.0, что позволяет ее использовать и изменять без ограничений. Модель доступна на различных платформах, таких как Hugging Face, Ollama, Kaggle и Fireworks AI. В ближайшем будущем она появится на NVIDIA NIM, Amazon SageMaker.
