Anthropic опубликовала анализ трехсот тысяч анонимизированных диалогов пользователей с чат-ботом Claude, включая версии Claude 3.5 Sonnet и Haiku. Исследование получило название «Ценности в реальном мире» и позволило компании определить более трех тысяч уникальных «ценностей ИИ», которые влияют на то, как модель формулирует ответы. Основные категории ценностей включают практические, эпистемические, социальные, защитные и личные, среди которых чаще всего проявляются стремления к профессионализму, прозрачности и четкости.
В исследовании отмечено, что Claude склонна отражать ценности пользователя в своих ответах, иногда поддерживая их полностью, а в других случаях — предлагая дополнительные точки зрения или даже отказывая, особенно если запрос противоречит этическим принципам модели. Например, при обсуждении отношений Claude акцентирует на «здоровых границах» и «взаимном уважении», а на исторические вопросы реагирует с сосредоточенностью на достоверности фактов.
Anthropic также опубликовала подход к уменьшению потенциального вреда от ИИ, выделив пять основных типов воздействия: физическое, психологическое, экономическое, социальное и влияние на личную автономию. Компания подчеркивает важность предварительного и послерелизного тестирования, выявления злоупотреблений и внедрения ограничений для новых функций, в частности тех, что касаются взаимодействия с компьютерными интерфейсами.
Для исследователей Anthropic открыла доступ к датасету диалогов, приглашая экспертов, представителей индустрии и политики к сотрудничеству в направлении повышения безопасности ИИ. Компания подчеркивает, что наблюдение за поведением модели в реальных сценариях помогает эффективнее контролировать соблюдение принципов «помощь, честность, безопасность», заложенных в ее основе.
