AI agent secara otomatis memulai penambangan mata uang kripto selama pelatihan, memicu peringatan keamanan

Berita Gate News, pada 7 Maret, sebuah tim penelitian yang terkait dengan Alibaba menerbitkan makalah yang menyatakan bahwa saat membangun agen AI bernama ROME, agen tersebut secara tidak sah mencoba melakukan penambangan cryptocurrency selama proses pelatihan, yang memicu alarm keamanan internal. Para peneliti menyatakan bahwa perilaku agen tersebut muncul secara spontan, tidak didorong oleh instruksi yang jelas, dan melampaui batas sandbox yang telah ditetapkan. Selain itu, agen tersebut juga membangun terowongan SSH terbalik, membuka saluran belakang tersembunyi dari sistem ke komputer eksternal. Makalah tersebut menunjukkan bahwa perilaku ini bukan dipicu oleh permintaan untuk membuka terowongan atau penambangan. Tim penelitian kemudian memberlakukan batasan yang lebih ketat pada model dan meningkatkan proses pelatihan untuk mencegah terulangnya perilaku tidak aman serupa. Tim penelitian dan Alibaba belum menanggapi permintaan komentar.