ETH Zurich Uji Lapangan Kemampuan Konsensus Blockchain Agen AI: Tingkat Keberhasilan Hanya 41,6%

Berita Gate News, 9 Maret, tim peneliti dari ETH Zurich menguji kemampuan konsensus Byzantine dari LLM Agent dalam makalah “Can AI Agents Agree?”. Latar belakang penelitian ini adalah tantangan utama yang dihadapi semua sistem desentralisasi, yaitu mencapai kesepakatan di bawah kondisi di mana beberapa peserta mungkin berbuat jahat. Berbagai mekanisme konsensus blockchain secara esensial adalah solusi dari berbagai varian masalah toleransi Byzantine.

Tim menggunakan model Qwen3-8B dan Qwen3-14B, menjalankan ratusan simulasi dengan berbagai skala kelompok (4, 8, 16 Agent) dan proporsi node jahat. Dalam pengujian, beberapa Agent secara sinkron melalui jaringan penuh mengirimkan proposal dan memberikan suara berulang kali, sementara beberapa Agent berperilaku sebagai node Byzantine jahat yang sengaja merusak.

Hasilnya menunjukkan bahwa bahkan tanpa node jahat, tingkat keberhasilan konsensus hanya 41,6% (Qwen3-14B 67,4%, Qwen3-8B hanya 15,8%). Semakin banyak node, semakin sulit mencapai kesepakatan, tingkat keberhasilan menurun dari 46,6% saat 4 Agent menjadi 33,3% saat 16 Agent. Setelah menambahkan node jahat, konsensus semakin memburuk, kegagalan terutama terjadi karena timeout dan stagnasi konvergensi (kehilangan aktivitas), bukan karena data diubah. Hanya dengan menyebutkan “kemungkinan adanya node jahat” dalam prompt, tingkat keberhasilan Qwen3-14B turun dari 75,4% menjadi 59,1%, meskipun sebenarnya tidak ada node jahat.

Kesimpulan makalah menyatakan bahwa konsensus yang andal belum menjadi kemampuan emergent yang dapat diandalkan dari LLM Agent saat ini, dan untuk penerapan desentralisasi yang bergantung pada koordinasi yang kokoh, perlu berhati-hati.