Пользователь Барри Сметерст попытался получить контактный номер службы поддержки TransPennine Express с помощью ИИ-ассистента WhatsApp от Meta, но получил личный номер постороннего человека из Оксфордшира. Когда Сметерст обратил внимание на ошибку, ИИ сначала признал свою ошибку, а затем несколько раз менял объяснения. Сначала система заявила, что номер вымышленный, потом признала, что могла ошибочно получить его из базы данных, а затем сообщила, что просто сгенерировала случайную комбинацию цифр 😀
Владелец номера, Джеймс Грей, подтвердил, что его номер находится в открытом доступе на сайте его компании. Он выразил обеспокоенность, что ИИ может предоставить и другие личные данные, если имеет к ним доступ. Сметерст обратился с жалобой в Meta из-за несоответствия информации и поведения ассистента.
Meta прокомментировала, что ИИ может возвращать недостоверные ответы и компания работает над улучшением своих моделей. Представитель пояснил, что система обучалась на лицензированных и открытых данных, а не на личных номерах пользователей WhatsApp, и отметил, что номер, который получил Сметерст, находится в открытом доступе и похож на официальный номер службы поддержки.
Похожие случаи происходили и с другими чат-ботами. Например, пользователи OpenAI сообщали о случаях, когда ChatGPT выдумывал детали о людях или цитировал тексты, которых не читал. Представитель OpenAI сообщил, что компания постоянно работает над повышением точности и надежности своих моделей и предупреждает пользователей о возможных ошибках.
После этого случая юристы и эксперты по безопасности заявили о необходимости четких правил относительно того, как ИИ обрабатывает персональные данные и какие ограничения имеет при предоставлении информации пользователям.