量子科技中心_量科网

像ChatGPT和LLaMA这样的大型语言模型（LLMs）推动了生成式AI的快速发展，但其庞大的参数量级带来了严重的计算和环境负担。高昂的训练成本、能源消耗以及有限的设备部署能力阻碍了技术的普及性。现有压缩方法（如剪枝、蒸馏、低秩分解和量化）虽能减小模型体积，但忽略了层级间复杂的关联性。该研究团队提出KARIPAP——一种受量子启发的张量网络压缩技术，采用无限投影纠缠对态（iPEPS）和张量重整化群（TRG）收缩算法。不同于一维矩阵乘积态，iPEPS能捕捉注意力机制和深层Transformer中的多向纠缠特性。TRG算法确保多项式时间复杂度的收缩操作，使得张量化处理在保持关键关联几何结构的同时具有可行性。在LLaMA-2 7B模型上的实验显示：内存占用降低93%，参数量减少70%，训练速度提升50%，推理加速25%，而精度损失仅2-3%。通过逐层纠缠分析，研究人员发现深层网络存在显著冗余，证实了其适合张量分解的特性。该工作表明现代LLMs实际存在于低维纠缠流形中，为构建可扩展、高能效且具备量子感知能力的AI架构提供了新思路。