Исследовательская команда NovaSky из лаборатории Sky Computing Lab при UC Berkeley представила новый прототип модели Sky-T1-32B-Preview, способный конкурировать с ранними версиями OpenAI на ключевых тестах. Это первая по-настоящему открытая модель понимания, которая может быть воспроизведена с нуля, поскольку команда поделилась данными, использованными для обучения, и необходимым кодом. Впечатляет, что обучение Sky-T1-32B-Preview обошлось менее чем в 450 долларов. Для сравнения, недавно модели подобной производительности стоили миллионы долларов.
Sky-T1 использует синтетические данные, что помогло снизить расходы. Это модель, которая эффективно проверяет себя, избегая типичных ошибок. В отличие от многих ИИ, она требует немного больше времени для решения задач, но ее решения более надежны в таких областях, как физика, наука и математика. NovaSky применила модель Alibaba QwQ-32B-Preview для создания первоначальных данных, а затем использовала GPT-4o-mini от OpenAI для их обработки.
Sky-T1 имеет 32 миллиарда параметров и обучалась 19 часов на восьми Nvidia H100 GPU. Модель превзошла раннюю версию o1 на тестах MATH500 и LiveCodeBench. В то же время она уступает в GPQA-Diamond, где проверяются знания по физике, биологии и химии.
NovaSky планирует продолжать разработку открытых моделей с усовершенствованными возможностями понимания. Команда сосредоточится на создании более эффективных моделей, сохраняющих сильные навыки понимания, и исследовании техник, повышающих эффективность и точность моделей во время тестирования.
