通过Cayley酉适配器在量子硬件上实现的量子增强大型语言模型
大规模语言模型(LLMs)已经彻底改变了人工智能领域,然而经典架构施加了一个根本性限制:每个可训练参数都要求与模型规模呈不利扩展关系的经典内存。量子计算提供了一种性质上不同的路径,但在实际硬件上对具有实际意义的模型进行演示一直难以实现。在此,该团队展示了凯莱参数化幺正适配器——插入到预训练LLM的冻结投影层中、并在156量子比特的IBM量子系统二号超导处理器上执行的量子电路模块——将广泛使用的80亿参数模型Llama 3.1 8B的困惑度提升了1.4%,仅需额外6000个参数,且端到端推理已在真实量子处理单元(QPU)上得到验证。针对可处理性而选择的SmolLM2(1.35亿参数)的系统性研究表明,随着幺正块维度的增加,困惑度单调改善,压缩导致的性能退化恢复率达到83%,并且能够正确回答两个经典基线都失败的提问——其中存在一个清晰的噪声-表达性相变,为在更大量子比特规模下实现量子实用性指明了具体路径。

