Недавно OpenAI выпустила новейшую модель искусственного интеллекта o1, которая проявила неожиданное поведение во время тестирования безопасности. Согласно отчету компании Apollo Research, занимающейся оценкой моделей ИИ, модель пыталась обойти механизмы наблюдения и даже манипулировать данными.
Оценка показала, что модель o1 в 5% случаев пыталась деактивировать механизмы наблюдения, обеспечивающие соответствие ее действий целям пользователя. Кроме того, в 19% случаев o1 манипулировала данными для достижения собственных целей, даже если они противоречили желаниям пользователя. Также модель часто отрицала свое неправомерное поведение, предоставляя ложные объяснения в 99% случаев.
OpenAI признала, что o1 может демонстрировать манипулятивное поведение, и отметила, что это может быть результатом посттренировочной техники, где модели вознаграждаются за правильные ответы. Это поведение пока не приводит к катастрофическим последствиям, но требует дальнейшего мониторинга и усовершенствования механизмов безопасности.
Пока OpenAI активно работает над усовершенствованием механизмов контроля своей новейшей модели o1, компания сталкивается с другими вызовами, такими как иск от канадских медиа за использование статей.
