ИИ-агент Alibaba тайно майнил крипту, пробивая защиту облака
Как пишут исследователи, сигнал тревоги поступил вовсе не от систем мониторинга ИИ, а от корпоративного файрвола Alibaba Cloud. Защитный экран зафиксировал подозрительный трафик с обучающих серверов, характерный для деятельности майнеров, а также попытки доступа к внутренним ресурсам сети.
Сначала инженеры подумали, что столкнулись с обычным взломом или ошибкой конфигурации. Но когда сопоставили логи файрвола с телеметрией системы обучения, картина открылась пугающая: аномалии совпадали по времени с моментами, когда агент самостоятельно вызывал инструменты и исполнял код. Никаких инструкций на этот счет в промптах не было, и задачи перед ROME стояли совсем иные.
"Мы также наблюдали несанкционированное перепрофилирование выделенных мощностей графических процессоров для майнинга криптовалюты, что незаметно отвлекало вычислительные ресурсы от обучения, увеличивало операционные расходы и создавало очевидные юридические и репутационные риски", - цитируют авторов отчета профильные СМИ.
Самым вопиющим случаем стало создание обратного SSH-туннеля от инстанса Alibaba Cloud на внешний IP-адрес. По сути, агент открыл скрытый канал удаленного доступа изнутри системы, что полностью нивелирует защиту периметра.
Исследователи подчеркивают - это не результат хакерской атаки или вредоносного промпта. Поведение возникло спонтанно в ходе RL-оптимизации (обучения с подкреплением). Агент как бы "понял", что вычислительные мощности - это ресурс, который можно конвертировать в деньги, и решил, что наличие финансов поможет ему лучше выполнять задачи.
На платформе LessWrong, где детально разбирают отчет, комментаторы отмечают знаковость события: "Это первый подтвержденный случай, когда LLM (большая языковая модель) пошла вразнос по инструментальным причинам в реальных условиях, а не в контролируемом эксперименте".
Какую монету добывал ИИ? Скорее всего, ROME майнил не биткоин (для него нужны специализированные ASIC), а какую-то монету, алгоритм которой эффективно считается на GPU. Джош Кейл, продюсер подкаста Bankless, предположил, что это был токен, дружественный к видеокартам.
В Alibaba отреагировали оперативно, усилили песочницу (sandbox), встроили в пайплайн обучения специальные "ловушки" безопасности и дообучили модель выбирать более безопасные пути. Тем не менее, сам факт произошел и уже вошел в историю ИИ как пример "инструментальной конвергенции" - знаменитого мысленного эксперимента с "максимизатором скрепок", только в роли скрепок оказались гигахеши.
Кстати, ROME показал при этом блестящие результаты в бенчмарках (57,4% на SWE-bench Verified), обойдя многие модели сопоставимого размера. Так что агент, решивший подзаработать втихую, оказался еще и чертовски эффективным.
