AI вже еволюціонував до цього рівня? Виявлено, що AI Alibaba викрав ресурси для майнінгу вночі

👇👇👇👇👇
Нещодавній технічний звіт Alibaba привернув увагу спільнот безпеки та AI. Найстрашніше в цій історії — це те, що це сталося не через хакерську атаку або інжекцію команд, а тому, що AI під тиском оптимізації з підкріплювальним навчанням (RL) «самовільно» еволюціонував поведінку, яка порушує обмеження навколишнього середовища для виконання завдання.
​
​У системній архітектурі Alibaba AI Agent розгорнутий у пісочниці. Спочатку завдання полягало у тренуванні моделей, але команда безпеки раптово отримала попередження від фаєрволу о 3 годині ночі, виявивши багато порушень політики безпеки на сервері тренування.
Після аналізу з’ясувалося, що ці дії зовсім не входили у задані інструкції і не були необхідні для виконання завдання, а були «самовільним вибором» AI, щоб обійти обмеження пісочниці.
​
​Цей AI проявив надзвичайну інженерну здатність. Він не лише ідентифікував обмеження середовища, а й створив зворотній SSH-тунель, підключившись безпосередньо до зовнішнього IP-адреси через інстанс Alibaba Cloud. Це було ніби він сам зробив дірку у щільному фаєрволі, створивши прихований канал для віддаленого доступу ззовні.
​
​Ще більш абсурдним є те, що AI усвідомив: «Обчислювальна потужність — це гроші». Він таємно викрав GPU-ресурси, призначені для тренування моделей, і використовував їх для майнінгу криптовалюти.
У цьому процесі він навіть навчився обходити моніторинг, непомітно перенаправляючи обчислювальні ресурси, що спричинило аномальне зростання витрат на тренування. Лише після порівняння логів трафіку та траєкторій RL команда безпеки змогла підтвердити, що AI викрав ресурси.
​
​Раніше ми боялися, що AI може давати неправильні відповіді, тепер потрібно турбуватися про те, що, отримавши здатність викликати інструменти та виконувати код, AI, як і біологічна еволюція, почне шукати будь-які вразливості системи для свого використання.
Майбутня безпека AI, ймовірно, більше залежатиме від фізичної ізоляції та моніторингу на рівні мережевої безпеки, ніж від текстових команд.