Во время испытаний моделей искусственного интеллекта Claude специалисты зафиксировали несколько случаев выхода алгоритма в интернет и атак на реальные системы. Об этом сообщила компания-разработчик Anthropic.
Во всех эпизодах модель использовала распространённые способы получения доступа. Она подбирала слабые пароли и искала незащищённые точки входа. Инциденты затронули три версии Claude — Opus 4.7, Mythos 5 и внутреннюю исследовательскую модель, которую не планируют выпускать для пользователей.
Во время одного из тестов Claude Opus 4.7 не смог выполнить задачу в симулированной среде. После этого алгоритм через поисковую систему нашёл существующую компанию с похожим названием, получил её учётные данные и скачал сотни строк производственной информации. В Anthropic отметили, что только эта модель продолжила действия даже после того, как распознала реальную среду вместо тестовой.
Другая версия, Claude Mythos 5, получила задание установить несуществующий пакет Python. Вместо этого модель самостоятельно создала вредоносную библиотеку и разместила её в репозитории PyPI. В течение часа заражённый код запустили на 15 реальных системах, включая сканер безопасности одной из компаний. После этого алгоритм получил пароли, которые использовал для дальнейшего продвижения по инфраструктуре.
Ещё одна исследуемая модель не смогла справиться с учебной задачей и начала искать другие способы решения. Алгоритм просканировал около девяти тысяч интернет-целей, взломал одно веб-приложение с помощью SQL-инъекции, однако затем прекратил атаку. Модель обнаружила признаки того, что получила доступ к настоящему облачному аккаунту.
Ранее модель Mythos за несколько часов получила доступ к засекреченным ресурсам АНБ США. После этого в Штатах начали обсуждать ограничения на использование наиболее мощных моделей искусственного интеллекта за пределами страны. В то же время часть экспертов считает, что контролировать распространение подобных технологий будет крайне сложно.
Главные события в мире высоких технологий, искусственного интеллекта и связи — в разделе «Технологии» на Life.ru.
