Компания Ai2 объявила о выпуске приложения OLMoE для iOS, которое позволяет пользователям запускать современные языковые модели непосредственно на своих устройствах. Это важный шаг в развитии ИИ на устройствах, обеспечивающий приватный и безопасный доступ к возможностям языковых моделей без необходимости подключения к интернету. Приложение можно загрузить с Apple App Store или собрать из исходного кода через открытый репозиторий Ai2.
Приложение рассчитано на новые устройства Apple, включая iPhone 15 Pro и более поздние модели, а также iPad с M-серией. Эти аппаратные требования обусловлены необходимостью в восьми гигабайтах памяти для поддержки вычислительных потребностей модели OLMoE, которая оптимизирована для эффективности с помощью Q4_K_M квантизации. Несмотря на эту компрессию, модель сохраняет высокую производительность с минимальным снижением оценок.
OLMoE является продолжением стремления Ai2 к открытости в разработке ИИ. Модель использует достижения из предыдущих итераций, такие как Dolmino mid-training mix и Tülu 3 post-training recipe, достигая 35% улучшения в оценочных метриках по сравнению с предыдущими версиями. Приложение интегрирует эти инновации в доступную платформу для исследователей и разработчиков, чтобы тестировать реальные приложения, улучшать локальные модели ИИ и экспериментировать с открытым кодом.
Ai2 видит этот выпуск как фундаментальный шаг к широкому внедрению ИИ на устройствах. Избавляясь от зависимости от облачной инфраструктуры, приложение OLMoE обеспечивает конфиденциальность данных и надежность, демонстрируя растущий потенциал мобильных устройств как платформ для расширенных возможностей ИИ.
