Китайский искусственный интеллект показал исследователям, как создавать биологическое оружие

Китайская компания Moonshot начала внутреннюю проверку после того, как исследователи смогли обойти защиту двух моделей искусственного интеллекта Kimi и получить от них ответы на запросы о создании биологического оружия и совершении убийств, передает Liter.kz со ссылкой на BBC.

О возможности обойти защитные ограничения моделей Kimi K2.6 и K3 Swarm в июле сообщила компания Mindgard, которая занимается тестированием безопасности систем искусственного интеллекта.

Исследователи использовали так называемый jailbreak – способ проверки ИИ, при котором специалисты пытаются заставить модель игнорировать установленные разработчиками ограничения.

В Mindgard заявили, что после успешного обхода защиты система может отвечать на запросы по темам, которые изначально должны быть заблокированы.

Основатель компании Питер Гаррахан отметил, что полученные результаты вызывают обеспокоенность.

"После успешного взлома система сможет обсуждать любые темы, даже свободно предлагать рекомендации по другим, также противоправным вопросам, проявляя изобретательность и креативность", – сказал он в программе Tech Life на BBC World Service.

Moonshot начала проверку

В компании Moonshot заявили, что приветствуют участие сторонних специалистов в тестировании своих систем.

"Мы считаем участие третьих сторон ключевым фактором в создании более совершенного и безопасного искусственного интеллекта", – говорится в комментарии компании.

Moonshot также сообщила, что ведет переговоры с Mindgard по поводу результатов исследования.

По данным BBC, Mindgard впервые уведомила разработчика о проблеме по электронной почте 27 июля, а примерно через неделю направила повторное сообщение. 12 сентября компания опубликовала материал о результатах проверки.

При этом в Moonshot утверждают, что связались с Mindgard уже после того, как BBC обратилась за комментарием.

В письме, которое Moonshot направила исследователям компания заявила, что во время внутренних проверок ее модели в целом показывали "высокий процент отказов по запросам такого типа".

ИИ может использоваться для кибератак

Mindgard также заявила о другой потенциальной уязвимости, связанной с Kimi. По оценке специалистов, ее использование может создать условия для несанкционированного запуска кода и доступа к интернету.

При этом компания не утверждает, что ответы Kimi на опасные запросы обязательно будут эффективны на практике.

Гаррахан защитил решение Mindgard публично рассказать о проблеме. По его словам, компания уведомила Moonshot о результатах проверки и не раскрывает ключевые технические детали, которые позволили обойти защиту моделей.

Подобные случаи становятся частью более широкой дискуссии о безопасности ИИ и так называемых моделях с открытыми весами.

Kimi относится к таким системам. Это означает, что пользователи могут самостоятельно запускать модель на собственной вычислительной инфраструктуре.

Эксперты спорят о безопасности открытых моделей

Профессор Университета Суррея Алан Вудворд отметил, что модели с открытыми весами действительно могут представлять дополнительный риск, поскольку после публикации их сложнее контролировать.

При этом, по его словам, такие технологии можно использовать и для защиты от кибератак.

Эксперт также считает, что международное регулирование не успевает за развитием искусственного интеллекта.

"Нам потребовались десятилетия, чтобы договориться о формате телефонных номеров", – сказал Вудворд.

Как и Гаррахан, он считает важным не только совершенствовать защиту самих моделей, но и выявлять людей, которые используют искусственный интеллект для противоправной деятельности.

Читайте также:

Искусственный интеллект начали использовать при работе призывных комиссий в Казахстане

Токаев предложил объединить центры искусственного интеллекта стран БРИКС