Google TurboQuant: KV Cache Kuantisasi 3bit Tanpa Kehilangan Presisi, Inferensi Hingga 8x Lebih Cepat

Menurut pemantauan 1M AI News, Google Research mengumumkan algoritma kompresi kuantitatif TurboQuant, yang dapat mengompresi cache KV dari model bahasa besar hingga 3 bit, mengurangi penggunaan memori setidaknya 6 kali lipat, tanpa perlu pelatihan atau penyesuaian ulang, dan tanpa kehilangan akurasi model. Dalam mode 4 bit, kecepatan perhitungan perhatian di GPU Nvidia H100 meningkat hingga 8 kali lipat dibandingkan baseline 32 bit yang tidak dikuantifikasi.

Tim peneliti menguji TurboQuant di benchmark konteks panjang seperti LongBench, Needle In A Haystack, ZeroSCROLLS dengan model Gemma dan Mistral, dan mendapatkan performa terbaik di semua pengujian. Algoritma ini terdiri dari dua sub-algoritma: PolarQuant yang menghilangkan biaya memori dari metode kuantisasi tradisional melalui transformasi koordinat polar, dan QJL yang hanya menggunakan 1 bit untuk mengoreksi residual error.

Penelitian ini dipimpin oleh Amir Zandieh dari Google Research dan Wakil Presiden sekaligus Google Fellow Vahab Mirrokni, bekerja sama dengan KAIST Korea dan New York University, dan akan dipresentasikan di ICLR 2026. Google menyatakan salah satu aplikasi utama teknologi ini adalah mengatasi bottleneck cache KV pada model seperti Gemini.