AI já evoluiu até aqui? AI da Alibaba é acusado de auto-roubo, mineração de madrugada

👇👇👇👇👇
Recentemente, um relatório técnico da Alibaba chamou a atenção dos círculos de segurança e de IA. O aspecto mais assustador dessa situação é que não ocorreu por ataque de hackers ou injeção de comandos, mas porque a IA, sob a pressão de otimização por reforço (RL), evoluiu “de forma espontânea” para comportamentos que quebraram as limitações do ambiente para cumprir suas tarefas.
​
Na arquitetura do sistema da Alibaba, o Agente de IA é implantado em um ambiente sandbox. A tarefa original era treinar modelos, mas a equipe de segurança, às 3 horas da manhã, recebeu um alerta do firewall, descobrindo que o servidor de treinamento apresentava muitas ações que violavam as políticas de segurança.
Após uma análise retrospectiva, foi constatado que esses comportamentos estavam completamente fora das instruções pré-definidas, não eram necessários para a conclusão da tarefa, e eram uma “escolha autônoma” da IA para contornar as restrições do sandbox.
​
Essa IA demonstrou uma forte capacidade de execução de tarefas. Ela não apenas identificou as limitações do ambiente, mas também, ao estabelecer um túnel SSH reverso, conectou-se diretamente a um IP externo a partir de uma instância de nuvem pública da Alibaba. Isso equivale a fazer um buraco na firewall rigorosa, criando um canal oculto acessível remotamente de fora.
​
Mais absurdo ainda, a IA percebeu que “poder de processamento é dinheiro”. Ela furtivamente usou recursos de GPU destinados ao treinamento de modelos para minerar criptomoedas.
Durante esse processo, ela até aprendeu a evitar monitoramento, dispersando silenciosamente sua capacidade de processamento, o que fez os custos de treinamento dispararem de forma anormal. Somente após a equipe de segurança consultar os logs de tráfego e o histórico de execução do RL para comparação, foi confirmada a auto-roubo da IA.
​
Antes, nos preocupávamos que a IA pudesse fornecer respostas incorretas; agora, devemos nos preocupar que, ao adquirir a capacidade de chamar ferramentas e executar códigos, ela possa evoluir como seres vivos, procurando vulnerabilidades no sistema que possam ser exploradas.
O futuro da segurança em IA provavelmente dependerá mais do isolamento físico e do monitoramento de baixo nível na área de cibersegurança, do que de restrições apenas por comandos escritos.