Berita Gerbang, 11 April, perusahaan infrastruktur AI Ramp Labs merilis hasil riset “Latent Briefing”, yang memungkinkan berbagi memori yang efisien antar sistem multi-agen dengan mengompresi langsung cache KV dari model besar. Dengan tidak mengorbankan akurasi, konsumsi Token diturunkan secara signifikan. Dalam arsitektur multi-agen arus utama, orkestrator (Orchestrator) memecah tugas dan berulang kali memanggil model pekerja (Worker); seiring rantai penalaran terus diperpanjang, jumlah Token meningkat secara eksponensial. Gagasan inti dari Latent Briefing adalah menggunakan mekanisme atensi untuk mengidentifikasi bagian konteks yang benar-benar penting, lalu membuang informasi redundan langsung pada level representasi, bukan mengandalkan ringkasan LLM yang lambat atau penelusuran RAG yang kurang stabil. Pada pengujian benchmark LongBench v2, metode ini menunjukkan performa yang menonjol: konsumsi Token model Worker turun 65%, penghematan Token untuk dokumen berukuran menengah (32k hingga 100k) mencapai median 49%, akurasi keseluruhan meningkat sekitar 3 poin persentase dibanding baseline, sementara waktu tambahan untuk setiap kompresi hanya sekitar 1,7 detik—lebih cepat kira-kira 20 kali dibanding algoritma asli. Eksperimen menggunakan Claude Sonnet 4 sebagai orkestrator dan Qwen3-14B sebagai model pekerja, mencakup skenario dokumen beragam seperti makalah akademik, dokumen hukum, novel, serta laporan pemerintah. Penelitian juga menemukan bahwa ambang kompresi optimal berbeda tergantung tingkat kesulitan tugas dan panjang dokumen—masalah yang sulit cocok untuk kompresi yang agresif guna menyaring kebisingan penalaran yang bersifat spekulatif, sementara dokumen panjang lebih cocok untuk kompresi ringan guna mempertahankan informasi kunci yang tersebar.

Lihat Sumber

Penafian: Informasi di halaman ini dapat berasal dari pihak ketiga dan tidak mewakili pandangan atau opini Gate. Konten yang ditampilkan hanya untuk tujuan referensi dan bukan merupakan nasihat keuangan, investasi, atau hukum. Gate tidak menjamin keakuratan maupun kelengkapan informasi dan tidak bertanggung jawab atas kerugian apa pun yang timbul akibat penggunaan informasi ini. Investasi aset virtual memiliki risiko tinggi dan rentan terhadap volatilitas harga yang signifikan. Anda dapat kehilangan seluruh modal yang diinvestasikan. Harap pahami sepenuhnya risiko yang terkait dan buat keputusan secara bijak berdasarkan kondisi keuangan serta toleransi risiko Anda sendiri. Untuk detail lebih lanjut, silakan merujuk ke Penafian.