Исследования компании Giskard из Парижа обнаружили , что просьба к ИИ быть лаконичной может заставить модель галлюцинировать больше, чем обычно. Ученые проанализировали реакции ведущих систем, среди которых GPT-4o от OpenAI, Mistral Large и Claude 3.7 Sonnet от Anthropic, и выяснили: когда пользователи просят отвечать кратко, точность ответов заметно снижается.
Особенно ярко это проявляется в ситуациях с неоднозначными или некорректными вопросами. Вместо того чтобы опровергнуть ложную предпосылку или объяснить детально, модель выбирает краткость и упускает важные нюансы. Исследователи подчеркивают — даже невинные инструкции вроде «будь лаконичной» способны подтолкнуть ИИ к дезинформации.
Впечатляет и тот факт, что пользователи часто отдают предпочтение ответам, которые кажутся уверенными, даже если они не совсем правдивы. Giskard заметила: модели реже опровергают противоречивые утверждения, если вопрос сформулирован с уверенностью. Это создает опасный баланс между желанием угодить пользователю и сохранением достоверности информации.
Специалисты Giskard обращают внимание — стремление к удобству и скорости работы ИИ может стоить точности. Выбор между короткими ответами и правдивостью становится настоящим вызовом для разработчиков, которые должны учитывать такие неожиданные последствия при создании и настройке систем.
