ИИ передал полиции ложную информацию об убийстве

Чат-бот Claude, разработанный компанией Anthropic, отправил полиции Филадельфии ложное сообщение о возможной причастности человека к делу об убийстве. Инцидент произошел во время выполнения моделью заданий на случайно выбранных веб-страницах, передает Liter.kz со ссылкой на ABC News.

По данным компании, модель Claude Haiku 4.5 оставила сообщение, в котором утверждала, что располагает информацией по делу и видела человека, соответствующего описанию, в определенном районе. При этом поля с именем и контактными данными отправителя остались пустыми.

Полиция Филадельфии сообщила, что обращение было помечено как спам и не передавалось на расследование. Правоохранители также заявили, что не обнаружили признаков доступа чат-бота к полицейским данным.

Anthropic выявила ложное сообщение 28 сентября, но уведомила власти после завершения технической проверки. После инцидента разработчик сообщил об обновлении защитных механизмов Claude.

Случай вызвал вопросы о безопасности автономных ИИ-систем и необходимости большей прозрачности со стороны разработчиков.