PGKET: 一种光子高斯核增强型Transformer

自注意力机制(SAMs)通过提取关键信息提升模型性能,但在处理长序列时效率低下。为此,该研究团队提出了一种基于光子高斯核自注意力机制(PGKSAM)的光子高斯核增强型Transformer(PGKET)。该机制利用光子干涉测量与叠加原理并行处理多路输入,计算光子高斯核自注意力得分(PGKSAS)。实验结果表明,在MedMNIST v2和CIFAR-10多分类任务中,PGKET性能优于现有先进Transformer模型,有望提升复杂任务表现并加速光子计算(PC)与机器学习的融合进程。

量科快讯