量子科技中心_量科网

荒芜高原现象被表述为一种平均情况下的现象：选择一种拟设，天真地初始化参数，然后参数集中化随之而来。这导致了一种普遍观点，即荒芜高原的潜在解决方案仅仅是更谨慎地初始化参数。然而，该团队表明情况更为微妙。该团队引入了一个一阶矩框架，该框架提供了一种简单的算子级诊断方法，用于判断某种初始化何时可能避开完全集中的荒芜高原不动点，并用于比较不同初始化策略所引入的偏差。该框架不仅重现了诸如恒等初始化和高斯初始化等几种已知的初始化方案，还表明避免荒芜高原并非唯一途径。事实上，许多偏移、有偏和非对称的参数分布都可以避免集中化，而这些选择并不等价。实际上，该团队的结果表明，可以生成指数级数量的不等价初始化策略族。随后，该团队的数值实验表明，不同一阶矩区分的初始化可能导致不同的最终最小值，这表明通过智能初始化来避免荒芜高原，实际上是将指数级集中化问题转化为从众多选择中挑选正确可训练区域这一挑战。