量子科技中心_量科网

该团队提出了MetaTT——一种基于统一张量链(Tensor Train, TT)适配器的框架，用于预训练Transformer模型的全局低秩微调。与独立微调每个权重矩阵的LoRA不同，MetaTT通过索引层数、矩阵类型等结构轴（可选扩展至注意力头与任务维度），使用单一共享TT分解所有Transformer子模块（包括查询、键、值、投影和前馈层）。在相同秩条件下，LoRA参数量随模态乘积增长，而MetaTT仅随模态和增长，从而实现更显著的适配器压缩。基准测试表明，在标准语言建模任务中，MetaTT保持与LoRA相当的精度（甚至优于其他张量方法）的同时实现了最大参数量削减。不同于CP等秩分解方法，TT格式具有成熟的优化例程优势——例如结合Adam的DMRG式秩自适应最小化算法，该工作发现这能显著简化训练过程。由于新模态可低成本扩展，MetaTT无需重构核心张量即能自然扩展到多任务共享适配器场景。