Аналитика некоммерческого исследовательского института Epoch A указывает на возможное замедление прогресса моделей ИИ с развитыми навыками рассуждения уже в ближайший год. За последние месяцы эти модели, такие как о3 от OpenAI, показали значительные успехи в решении математических и программных задач, но дальнейший рост их возможностей может оказаться не таким стремительным, как ожидалось.
Особое внимание привлекает то, что OpenAI для обучения модели о3 использовала в десять раз больше вычислительных ресурсов по сравнению с предшественницей о1 — и большая часть этой мощности была направлена именно на этап подкрепляющего обучения. Компания уже заявила о намерении в дальнейшем делать акцент на этом подходе и привлекать еще больше вычислительных мощностей.
Аналитик Epoch Josh You отмечает: если стандартное обучение моделей ежегодно обеспечивает четырехкратный рост производительности, то подкрепляющее обучение демонстрирует десятикратный прирост каждые три-пять месяцев. Однако такая динамика может быстро исчерпать свои ресурсы — уже к две тысячи двадцать шестому году темпы развития, вероятно, сравняются с общими показателями отрасли.
Кроме аппетита к вычислительным ресурсам, модели с рассуждением сталкиваются с высокими накладными расходами на исследования. Исследование указывает: если такие расходы сохранятся, масштабирование моделей может столкнуться с неожиданными ограничениями. При этом уже сейчас известно, что модели этого класса не только дороги в использовании, но и склонны к ошибкам, в частности так называемым «галлюцинациям», даже больше, чем некоторые традиционные ИИ-решения.
