通过可并行采样器与高效温度估计释放玻尔兹曼机的潜力

玻尔兹曼机(BMs)是基于能量的强大生成模型,但其高昂的训练成本使得实际应用主要局限于采用对比散度高效学习方法的受限玻尔兹曼机(RBMs)。更精确的学习通常需要马尔可夫链蒙特卡洛(MCMC)玻尔兹曼采样,但由于更具表现力的模型难以并行化,这一过程十分耗时。为解决这一局限,该团队首先提出了一种受量子启发的组合优化方法——模拟分岔(SB)所启发的全新玻尔兹曼采样器。这种称为朗之万模拟分岔(LSB)的方法,在保持与MCMC相当的精度同时实现了并行化采样,且不仅适用于RBMs,还可用于具有通用耦合的BMs。然而,LSB无法控制输出玻尔兹曼分布的逆温度参数,这会阻碍学习过程并降低性能。为此,研究人员还开发了一种在学习过程中高效估计逆温度的方法——条件期望匹配(CEM)。通过结合LSB与CEM,该工作为比RBMs更具表现力的BMs建立了一个高效学习框架,称为采样器自适应学习(SAL)。SAL为超越RBMs的基于能量生成模型开辟了新途径。
作者所在地: VIP可见
作者单位: VIP可见
页数/图表: 登录可见
提交arXiv: 2025-12-02 01:40

量科快讯