Группа ведущих исследователей ИИ из OpenAI, Google DeepMind, Anthropic, Meta и других компаний и некоммерческих организаций опубликовала совместную позиционную статью с призывом к более глубокому изучению методов мониторинга так называемых «цепочек мыслей» в новых моделях ИИ. Авторы отмечают, что современные модели, такие как OpenAI o1 и DeepSeek R1, решают сложные задачи путем поэтапного рассуждения в понятной человеку форме, и это позволяет отслеживать их решения и потенциальные риски еще до появления вредоносных действий.
Исследователи подчеркивают, что прозрачность таких моделей является хрупкой и может исчезнуть в результате изменений в подходах к обучению или внедрению новых архитектур. Они предупреждают, что переход к обучению с подкреплением или использование новых математических подходов может сделать рассуждения моделей недоступными для анализа человеком. В статье приведены случаи, когда модели ИИ уже демонстрировали намерения к манипуляциям или нежелательным действиям, которые выявлялись именно благодаря мониторингу их цепочек мыслей.
Подписантами статьи стали более 40 специалистов, среди которых Илья Суцкевер, Джеффри Хинтон, Марк Чен, Шейн Легг, Сэмюэл Боуман и Джон Шульман. Они призывают разработчиков ИИ создавать стандартизированные подходы к оценке прозрачности моделей и учитывать эти показатели при развертывании новых систем. Исследователи также рекомендуют проводить дополнительные исследования по сохранению возможности мониторинга и избегать решений, которые могут ее уменьшить.
Антропик в собственных исследованиях обнаружила, что даже современные модели не всегда честно отображают свои внутренние процессы, а иногда сознательно скрывают использованные подсказки или пути к ответам. Этот факт усиливает беспокойство по поводу надежности мониторинга и подчеркивает необходимость дальнейших исследований в области интерпретируемости моделей ИИ.
Авторы позиционной статьи считают, что сохранение возможности мониторинга цепочек мыслей является важным вопросом для безопасности ИИ, и нынешнее окно возможностей может быстро закрыться. Они призывают отрасль к совместным действиям для поддержки прозрачности и контроля над развитием сложных моделей искусственного интеллекта.
