论经典神经网络中非经典统计特性的涌现
受量子力学中测量不相容性与贝尔家族不等式的启发,该研究团队提出了非经典网络(NCnet)——一种在典型且可解释的实验设置下能稳定呈现非经典统计行为的简易经典神经网络架构。研究发现,以CHSH不等式的S统计量衡量的非经典性,源于多任务共享的隐含层神经元梯度竞争。值得注意的是,即使没有显式通信的物理连接,一个任务头仍能通过局部损失振荡隐式感知其他任务头的训练任务,从而在其训练结果中产生非局域关联。具体而言:在低资源状态下,S值随资源增加逐步上升并趋近经典上限2,表明资源增加缓解了欠拟合;当模型接近获得充分性能所需的临界规模时,S可能暂时突破2;随着资源持续增长,S最终渐近衰减至2附近波动。实证研究表明,当模型容量不足时,S与泛化性能呈正相关,且S首次逼近2的区间往往对应良好泛化。这些发现表明,非经典统计能为理解深度网络的内部交互与训练动力学提供新视角。
量科快讯
1 天前
1 天前

