存储需求暴降！谷歌发布新型AI内存压缩技术-感算商城

存储需求暴降！谷歌发布新型AI内存压缩技术

来源：21ic电子网

发布时间：2026-04-03

谷歌研究院推出全新AI内存压缩技术TurboQuant，精准破解AI推理的内存瓶颈。

该技术可在不损失精度的前提下，将大语言模型缓存内存占用至少缩减6倍，推理速度最高提升8倍。

AI模型运行时有一种“工作内存”，即KV缓存（Key-Value Cache）。每当模型处理信息、生成回答时，KV缓存便会迅速膨胀，且上下文窗口越长，缓存占用的内存越大。

这已成为制约AI系统效率与成本的核心瓶颈，并非模型不够智能，而是运行时的内存难以支撑。

TurboQuant采用向量量化的方法对缓存进行压缩，使AI在占用更少内存的同时记住更多信息，且保持准确性。实现这一效果的关键在于两项技术：名为PolarQuant的量化方法，以及名为QJL的训练与优化手段。研究团队计划在下个月的ICLR 2026会议上正式发布相关成果。

研究团队在Gemma和Mistral等开源大模型上进行了严格的基准测试。实验数据显示，TurboQuant无需任何预训练或微调，即可将键值缓存高效压缩至3比特，在“大海捞针”等长上下文测试中实现零精度损失，内存占用降至原来的六分之一。

此外，在H100 GPU加速器上，4比特TurboQuant的运行速度较未量化的32比特基准提升了高达8倍。

纠错

免责声明

2、本文的引用仅供读者交流学习使用，不涉及商业目的。

3、本文内容仅代表作者观点，感算商城不对内容的准确性、可靠性或完整性提供明示或暗示的保证。读者阅读本文后做出的决定或行为，是基于自主意愿和独立判断做出的，请读者明确相关结果。

4、如需转载本方拥有版权的文章，请联系感算商城（service@gansuan.com）注明“转载原因”。未经允许私自转载感算商城将保留追究其法律责任的权利。

存储需求暴降！谷歌发布新型AI内存压缩技术