量子科技中心_量科网

该研究团队证明，包括Transformer和循环神经网络在内的深度神经网络，在常规的下一个词预测预训练过程中，会自发发现并表征对其训练数据的“量子”与“后量子”低维生成模型的信念——这仿佛是在推理过程中，随着观察更多上下文，对该世界模型潜在状态进行迭代式贝叶斯更新。值得注意的是，神经网络能轻易找到这些表征，而经典有限电路则无法完成该任务。研究发现，不同输入序列诱导的神经激活间对应几何关系在很大程度上与神经网络架构无关。该几何空间中的每个点都对应着历史诱导的、关于所有可能未来的概率密度分布，而这些点的相对位移则反映了不同历史对未来的影响机制与强度差异。