QASM-Eval：一个用于在OpenQASM-3上训练和评估大语言模型、超越量子电路范畴的数据集
量子计算目前仍处于含噪中等规模量子（NISQ）时代，其性能受到噪声的严重制约。应对这一限制通常需要超越门序列电路规范的硬件级能力，包括用于量子纠错（QEC）的中间电路测量和经典反馈、用于动态解耦（DD）的精确时序控制，以及用于校准的脉冲级波形访问。OpenQASM-3正是为暴露这些能力而引入的，它提供了一个硬件级编程接口。然而，尽管大语言模型在代码生成领域取得了快速进展，目前仍缺乏专门为训练和评估大语言模型在涉及OpenQASM-3先进硬件导向特性的程序上的数据集。为填补这一空白，该团队推出了QASM-Eval，这是首个专为训练和评估大语言模型在OpenQASM-3上的表现而设计的综合性数据集。QASM-Eval并不侧重于量子算法设计或推理，而是明确针对该语言的硬件导向特性。该数据集包含一个经专家验证的100个任务的测试集和一个包含4000个任务的训练集，系统性地涵盖了经典逻辑、时序调度、脉冲控制以及复杂的真实世界工作流。为了自动验证生成的程序，该研究使用一个扩展的验证器来检查语法、量子态和程序时序。评估结果显示，尽管当前最先进的大语言模型在OpenQASM-3编码任务上表现困难，但在QASM-Eval上进行针对性微调后，性能提升显著。QASM-Eval提供了一个关键的基准和训练基础，有助于加速开发在NISQ时代面向硬件的量子编程中可靠的大语言模型助手。数据和代码：https://github.com/fuzhenxiao/QASM-Eval
