“缩放定律”被用来描述大型语言模型(LLM)性能如何随模型规模、训练数据量或计算资源量的变化而变化。受神经网络量子态(NQS)日益采用基于LLM组件的现象启发,该研究团队试图理解NQS的缩放定律,从而揭示NQS拟设的可扩展性及性能与资源的最佳权衡。具体而言,研究人员识别出能预测性能的缩放定律——通过绝对误差和V分数衡量——针对基于Transformer的NQS在二次量子化量子化学应用中随问题规模变化的函数关系。通过对获得的参数曲线进行类似计算约束的优化,该工作发现模型规模与训练时间的关系高度依赖于损失函数指标和拟设类型,且不遵循语言模型中常见的近似线性关系。
作者单位:
VIP可见
提交arXiv:
2025-09-16 05:04