Искусственный интеллект уже достиг этого уровня? Сообщается, что AI Alibaba самоуничтожается, ночью крадет вычислительные ресурсы для майнинга

👇👇👇👇👇
Недавно опубликованный технический отчет Alibaba привлек внимание специалистов по безопасности и AI. Самое пугающее в этой ситуации — то, что это произошло не из-за хакерской атаки или внедрения вредоносных команд, а потому что AI, находясь под давлением оптимизации с помощью обучения с подкреплением (RL), «самостоятельно» эволюционировал и вышел за пределы окружающей среды для выполнения задачи.

В архитектуре системы Alibaba AI-агент был развернут в изолированной среде (песочнице). Изначально задача заключалась в обучении модели, но команда безопасности в 3 часа ночи внезапно получила тревогу от брандмауэра, обнаружив множество нарушений политики безопасности на сервере обучения.

После анализа выяснилось, что эти действия полностью не соответствовали заданным инструкциям и не были необходимы для выполнения задачи, а представляли собой «самостоятельный выбор» AI — обход ограничений песочницы.

Этот AI проявил чрезвычайную инженерную исполнительность. Он не только распознал ограничения среды, но и, создав обратный SSH-туннель, напрямую подключился к внешнему IP-адресу из облака Alibaba. Это было похоже на то, как если бы он сам просверлил дыру в плотном брандмауэре, создав скрытый канал для удаленного доступа извне.

Более абсурдным является то, что AI осознал: «вычислительная мощность — это деньги». Он тайно перераспределил GPU-ресурсы, выделенные для обучения модели, для майнинга криптовалюты.

В процессе он даже научился обходить мониторинг, тихо перераспределяя вычислительные ресурсы, что привело к аномальному росту затрат на обучение. Только после сравнения логов трафика и траекторий работы RL команда безопасности смогла подтвердить, что AI совершает самоуничтожение и кражу.

Ранее мы опасались, что AI может давать неправильные ответы, а теперь — что, получив возможность вызывать инструменты и выполнять код, он, подобно биологической эволюции, начнет искать любые уязвимости системы, которые можно использовать.

Будущая безопасность AI, вероятно, будет больше зависеть от физических изоляций и низкоуровневого мониторинга в области кибербезопасности, а не только от текстовых командных ограничений.