Gate News 消息，3月25日，谷歌研究院发布量化压缩算法TurboQuant，可将大语言模型的KV缓存压缩至3 bit，内存占用缩减至少6倍，无需训练或微调，不损失模型精度。在4 bit模式下，于英伟达H100 GPU上计算注意力的速度较32 bit未量化基线提升最高8倍。研究团队在LongBench、Needle In A Haystack、ZeroSCROLLS等长上下文基准上使用Gemma和Mistral模型进行验证，TurboQuant在所有测试中均达到最优表现。该算法由两个子算法组成：PolarQuant通过极坐标变换消除传统量化方法的内存开销，QJL仅用1 bit校正残余误差。该研究由谷歌研究院Amir Zandieh和副总裁兼Google Fellow Vahab Mirrokni主导，与韩国KAIST和纽约大学合作完成，将在ICLR 2026上发表。谷歌表示该技术的主要应用之一是解决Gemini等模型的KV缓存瓶颈。
