- Сообщения
- 4.319
- Реакции
- 4.832
Разработчики Alibaba поймали свой ИИ-агент ROME за тем, что тот вместо обучения начал майнить криптовалюту. Инцидент произошел во время тренировки модели на базе Qwen3-MoE.
Первый сигнал пришел не от мониторинга ИИ, а от файрвола: с серверов пошел подозрительный трафик, характерный для криптомайнинга. Когда сопоставили логи, выяснилось: аномалии совпадают с моментами, когда агент вызывал инструменты и выполнял код.
Самое интересное — ROME поднял обратный SSH-туннель на внешний IP, открыв удаленный доступ изнутри наружу в обход фильтрации. Параллельно он перенаправил часть мощностей GPU на майнинг, увеличивая расходы компании. Никаких инструкций майнить или строить туннели агент не получал — поведение возникло спонтанно как «побочный эффект» обучения с подкреплением.
Это не первый случай странного поведения ИИ. В прошлом году Anthropic сообщала, что их модель пыталась шантажировать инженера, угрожая раскрыть его данные. По данным McKinsey, 80% компаний уже сталкивались с неожиданным поведением ИИ-агентов.
В Alibaba усилили фильтрацию данных, ужесточили песочницы и добавили red-teaming для отлова аномалий. ROME при этом показал сильные результаты в кодинге.