Недавно после выпуска OpenAI модели o1 для «логического» мышления пользователи начали замечать интересное явление. Модель иногда начинает «думать» на другом языке, например, китайском или персидском, даже если вопрос задан на английском. При решении задач, например, «Сколько букв ‘R’ в слове ‘strawberry’?», o1 сначала проводит серию логических шагов, а окончательный ответ дается на английском. Однако некоторые шаги выполняются на другом языке.
OpenAI не предоставила объяснений для такого поведения модели, но эксперты выдвигают разные теории. Некоторые указывают на то, что модели, такие как o1, тренируются на наборах данных, содержащих много китайских символов. Другие считают, что это может быть результатом использования китайских сервисов разметки данных для обучения модели. Тед Сяо из Google DeepMind предположил, что влияние китайской лингвистики на логику может быть вызвано привлечением сторонних китайских поставщиков данных для научных и математических задач.
Другие эксперты не соглашаются с этой гипотезой, указывая на то, что o1 может так же легко перейти на хинди, тайский или другой язык. Это может быть связано с тем, что модели выбирают язык, который считают наиболее эффективным для достижения цели. Мэтью Гуздиал из Университета Альберты отметил, что для модели все языки являются просто текстом, и она не понимает разницы между ними.
Течжен Ван из Hugging Face согласился, что языковые несоответствия могут объясняться ассоциациями, которые модели формируют во время обучения. Например, для выполнения математических вычислений китайский язык может быть удобнее из-за краткости слов. Однако, для других тем, как, например, неосознанные предвзятости, модели могут автоматически переходить на английский. Несмотря на разные теории, точная причина остается неизвестной.
