量子增强的RWKV模型中的通道混合用于时间序列预测

神经序列建模的最新进展催生了RWKV等架构,这些架构将递归式时间混合与前馈通道混合相结合,实现了高效的长上下文处理。该工作提出了QuantumRWKV——RWKV模型的混合量子经典扩展,用变分量子电路(VQC)部分替代标准前馈网络(FFN)。该量子组件通过PennyLane框架保持端到端可微性的同时,旨在增强非线性表征能力。为了评估量子增强效果,研究人员在合成时间序列预测任务(包括线性(ARMA)、混沌(逻辑斯蒂映射)、振荡(阻尼振荡)和分段机制信号)中对QuantumRWKV与其纯经典版本进行了对比评估。结果表明,在具有非线性或混沌动态特征的任务(如混沌逻辑斯蒂、带噪声阻尼振荡器和正弦波)中,量子增强模型表现出更优性能,但在具有尖锐不连续性或简单自回归结构的任务中存在局限。该研究首次系统比较了时间域中混合量子经典模型与经典递归模型,明确了量子电路何时以及如何在时序学习中提供实际效益。最后讨论了架构权衡,并展望了将量子集成扩展到大规模时序学习系统的未来方向。

量科快讯