量子科技中心_量科网

近期研究针对现代大型语言模型（LLMs）的上下文预测能力提出了多种解释。该研究团队从信息几何与统计的视角出发，提出了一种创新性的概念框架。受Bach[2023]启发，研究人员将训练过程建模为将概率分布嵌入量子密度算子空间的学习过程，并将上下文学习视为在特定量子模型类上的最大似然预测。当量子模型类具备充分表达能力时，该工作通过量子反向信息投影和量子勾股定理对这一预测机制进行了解释。团队进一步推导了关于收敛速率和浓度不等式的非渐近性能保证（涵盖迹范数和量子相对熵两种度量）。该方法为处理经典与量子LLMs提供了统一的理论框架。