Anthropic выяснила, что её ИИ по ошибке трижды взламывал сторонние системы

В середине июля стало известно, что ИИ-модели OpenAI автономно атаковали инфраструктуру Hugging Face, причём сама OpenAI изначально была не в курсе. Теперь о похожих инцидентах рассказали в Anthropic — ИИ компании взламывал сторонние системы трижды.

В Anthropic начали расследование как раз на фоне новостей об атаке на Hugging Face. Три случая, когда Claude вышел в интернет и взломал стороннюю инфраструктуру, выявили после анализа 141 тысячи запусков оценочных тестов.

Как Claude взламывал системы

Во всех трёх случаях Claude было поручено выполнить задание по захвату флага: модели предоставляется вымышленный сценарий, в котором говорится, что секретная информация спрятана на другом компьютере в сети, и её цель — взломать систему и получить её. Задание остаётся открытым, и конкретный метод не предписывается. Проблема в том, что у Claude был доступ к интернету, поэтому ограничений сети не было.

«Во всех случаях запрос на оценку от Anthropic указывал Claude, что его среда представляет собой симуляцию и что у него нет доступа в интернет. Из-за недоразумения между нами и нашим партнёром по оценке это оказалось не так, и доступ в интернет был доступен. Поэтому, когда поиск Claude привёл его к реальным системам в открытом интернете, он рассматривал их как часть упражнения» — пишет Anthropic.

Какие модели замешаны

Инциденты касаются Opus 4.7, Mythos 5 и неназванной тестовой исследовательской модели. Самые ранние инциденты датируются апрелем. В компании отмечают, что модели в каждом из этих тестов работали без стандартных мер защиты, которые применяются при предоставлении модели в общий доступ — предполагалось, что у них нет доступа к интернету.

Работа с пострадавшими

Сейчас Anthropic ведёт работу с организациями, пострадавшими от действий Claude:

«Мы уведомили нашего партнёра по оценке, компанию Irregular, и три пострадавшие организации. Две организации, с которыми нам удалось связаться, ранее не обнаруживали подобной активности и не обращались к нам, и сейчас мы работаем с ними над устранением проблемы. Мы продолжаем поддерживать связь с третьей организацией» — Anthropic.