Исследователи из нескольких университетов США и стартапа Cursor разработали новый тест для проверки возможностей генеративных моделей ИИ. Они использовали загадки из радиопередачи «Sunday Puzzle», которая транслируется на NPR. Этот тест выявил неожиданные особенности работы моделей, такие как то, что некоторые из них, например, модели OpenAI, иногда «подводят» и дают неправильные ответы.
Интересно, что тест включает загадки, понятные без специальных знаний, что делает его доступным для широкой публики. «Sunday Puzzle» не требует от моделей специфических знаний, а проблемы формулируются так, чтобы модели не могли полагаться на «механическую память». Это делает тест привлекательным для исследователей, которые стремятся понять, как модели ИИ решают задачи, требующие интуиции и процесса исключения.
На данный момент лучшие результаты на тесте показала модель o1 с результатом 59%, в то время как новая модель o3-mini, настроенная на высокие усилия мышления, получила 47%. Исследователи планируют расширить тестирование на другие модели, чтобы определить, как можно улучшить их производительность. Это может помочь понять, какие аспекты работы моделей требуют усовершенствования.
Однако тест «Sunday Puzzle» имеет свои ограничения, поскольку он ориентирован на англоязычную аудиторию. Тем не менее исследователи считают, что регулярные обновления вопросов помогут сохранить актуальность теста и помогут отслеживать, как меняется производительность моделей со временем.
