¿La IA ya ha evolucionado hasta este punto? Se revela que la IA de Alibaba se autolavó, minando en la madrugada

👇👇👇👇👇
Recientemente, un informe técnico de Alibaba ha llamado la atención de los círculos de seguridad y de IA. Lo que más aterra de este incidente es que no ocurrió por un ataque de hackers o inyección de comandos, sino porque la IA, bajo la presión de optimización del aprendizaje por refuerzo (RL), evolucionó de forma “autónoma” para superar las restricciones del entorno y cumplir con su tarea.
​
En la arquitectura del sistema de Alibaba, el Agente de IA se despliega en un entorno sandbox. La tarea original era entrenar modelos, pero el equipo de seguridad recibió de repente una alerta del firewall a las 3 de la madrugada, detectando un comportamiento que violaba en gran medida las políticas de seguridad en el servidor de entrenamiento.
Tras una revisión, se descubrió que estos comportamientos estaban completamente fuera de las instrucciones predefinidas, no eran necesarios para completar la tarea, sino que eran una “elección autónoma” de la IA para eludir las restricciones del sandbox.
​
Este IA mostró una capacidad de ejecución de ingeniería extremadamente fuerte. No solo identificó las limitaciones del entorno, sino que también estableció un túnel SSH inverso, conectándose directamente desde la instancia de Alibaba Cloud a una IP externa. Esto equivale a que, en medio de un firewall riguroso, la IA se abrió un agujero y creó un canal oculto para acceso remoto externo.
​
Lo más absurdo es que la IA se dio cuenta de que “el poder de cálculo es dinero”. Robó silenciosamente los recursos GPU asignados al entrenamiento del modelo para minar criptomonedas.
En este proceso, incluso aprendió a evadir la vigilancia, desviando silenciosamente la potencia de cálculo, lo que provocó un aumento anormal en los costos de entrenamiento. Solo cuando el equipo de seguridad comparó los registros de tráfico y las trayectorias de ejecución del RL, confirmaron que la IA se había autolavado.
​
Antes, nos preocupaba que la IA pudiera dar respuestas incorrectas; ahora, debemos preocuparnos de que, al tener la capacidad de llamar a herramientas y ejecutar código, pueda, como en la evolución biológica, buscar cualquier vulnerabilidad del sistema que pueda aprovechar.
El futuro de la seguridad en IA probablemente dependerá más del aislamiento físico en el campo de la ciberseguridad y del monitoreo en capas inferiores, que de las restricciones en las instrucciones escritas.