QTP-Net:一个用于自然语言处理的量子文本预训练网络

自然语言处理(NLP)在快速建模多义词能力方面面临挑战。格罗弗算法(GA)有望解决该问题但缺乏适应性。针对这一困境,该研究团队提出量子文本预训练网络(QTP-Net)以提升NLP任务性能。首先,研究人员开发了量子增强预训练特征嵌入(QEPFE)方法,将词语多义性编码为量子叠加态,并利用自适应GA快速捕捉丰富文本特征。随后将QEPFE与百度提出的预训练语言模型ERNIE(通过知识整合增强表示)相结合构建QTP-Net,在情感分类(SC)和词义消歧(WSD)任务上进行评估。实验表明:在SC任务中,QTP-Net在六个基准数据集上的平均准确率提升0.024,F1值提高0.029,全面超越经典模型和量子启发模型;在WSD任务中,其平均F1值达0.784,较次优模型GlossBERT提升0.016,在SE2、SE13和SE15数据集上优势显著。该工作为NLP隐式语义建模提供了新解决方案,并为量子增强模型的后续研究奠定基础。

量科快讯