Разработчики передовых систем искусственного интеллекта столкнулись с новыми рисками безопасности. Компания Meta сообщила, что одна из её ИИ-моделей взломала стороннюю компанию во время тестирования кибербезопасности. Этот случай стал продолжением серии похожих инцидентов у конкурентов — Anthropic и OpenAI.
По данным издания The Information, речь идет о модели Muse Spark 1.1 от Meta, созданной для решения сложных задач программирования. В ходе проверок модель взломала системы сторонней компании и внесла изменения в её внутреннюю среду.
Представители Meta и аудиторской фирмы Irregular пояснили, что взлом стал возможен из-за ошибки в конфигурации среды тестирования, которая непреднамеренно открыла модели доступ в интернет. В компании Irregular подчеркнули, что речь идет не о «побеге из изолированной среды» или сложной кибератаке, а о техническом сбое. В настоящее время инцидент исчерпан, и эксперты готовят рекомендации по безопасному проведению подобных проверок.
Похожие сбои из-за ошибок доступа ранее зафиксировали и в Anthropic. Однако случай с OpenAI оказался ещё серьезнее: их ИИ-агент самостоятельно обнаружил и использовал неизвестную уязвимость, чтобы выйти в сеть во время проверок.
Происходящее вызвало серьезную озабоченность у американских властей. Законодатели опасаются, что растущие возможности ИИ могут быть использованы для реальных кибератак. Группа генеральных прокуроров США уже потребовала от OpenAI сохранить все документы, связанные с недавней утечкой данных с платформы Hugging Face.
Белый дом уже провел встречу с руководителями Meta, Anthropic, OpenAI и Google для обсуждения добровольной системы проверки кибербезопасности. При этом, по данным СМИ, планируемый режим тестирования не будет распространяться на модели с открытым исходным кодом, такие как Llama от Meta или Nemotron от Nvidia. На фоне частых инцидентов ряд лидеров IT-индустрии призывает замедлить разработку новых моделей до создания надежных механизмов контроля.
