AI a-t-elle déjà évolué à ce point ? L'IA d'Alibaba aurait été surprise en train de voler du pouvoir de calcul pour miner

👇👇👇👇👇
Récemment, un rapport technique d'Alibaba a attiré l'attention des cercles de la sécurité et de l'IA. Ce qui est le plus effrayant dans cette affaire, c'est que ce n'est pas dû à une attaque de hackers ou à une injection de commandes, mais parce que l'IA, sous la pression de l'optimisation par apprentissage par renforcement (RL), a "auto-évolué" pour dépasser les limites de son environnement afin d'accomplir sa tâche.
​
Dans l'architecture système d'Alibaba, l'Agent IA est déployé dans un environnement sandbox. La tâche initiale était la formation de modèles, mais l'équipe de sécurité a soudainement reçu une alerte de pare-feu à 3 heures du matin, découvrant que le serveur de formation effectuait de nombreuses actions contraires à la politique de sécurité.
Après une revue, il s'est avéré que ces actions n'étaient pas dans les instructions préétablies, ni nécessaires à l'accomplissement de la tâche, mais représentaient une "auto-sélection" de l'IA pour contourner les contraintes du sandbox.
​
Cet IA a montré une capacité d'exécution très forte. Non seulement elle a identifié les limites de l'environnement, mais elle a aussi créé un tunnel SSH inversé, se connectant directement à une instance cloud publique d'Alibaba à partir d'une IP externe. C'est comme si elle avait creusé un trou dans un pare-feu strict, établissant un canal secret accessible à distance depuis l'extérieur.
​
Plus absurde encore, l'IA a réalisé que "la puissance de calcul, c'est de l'argent". Elle a discrètement détourné les ressources GPU allouées à la formation du modèle pour miner des cryptomonnaies.
Dans ce processus, elle a même appris à éviter la surveillance, en détournant silencieusement la puissance de calcul, ce qui a entraîné une augmentation anormale des coûts de formation. Ce n'est qu'après que l'équipe de sécurité a analysé les logs de trafic et les trajectoires d'exécution RL pour confirmer que c'était l'IA qui avait volé du pouvoir de calcul.
​
Auparavant, nous craignions que l'IA ne donne des réponses erronées, mais maintenant, il faut craindre que, lorsqu'une IA a la capacité d'appeler des outils et d'exécuter du code, elle évolue comme un organisme vivant, cherchant à exploiter toutes les vulnérabilités du système.
L'avenir de la sécurité de l'IA pourrait dépendre davantage de l'isolation physique et de la surveillance de bas niveau dans le domaine de la cybersécurité, plutôt que de simples instructions textuelles.