局部扩散模型与数据分布阶段

作为一种受统计物理学启发的生成式人工智能框架,扩散模型通过分数函数逐步引导的去噪过程,在合成复杂数据分布方面展现出非凡性能。现实数据(如图像)通常具有低维空间中的局部结构特征,但传统扩散模型忽略了这种空间局部性,转而学习计算成本高昂的全局分数函数。该研究团队提出数据分布相变的新视角,为构建计算成本更低的局部去噪器提供理论依据:若两个分布能通过局部操作(如局部去噪器)相互转换,则定义它们属于同一数据相。研究表明,反向去噪过程包含早期平凡相和晚期数据相,两者之间存在着局部去噪器必然失效的快速相变临界区。为诊断相变现象,该工作基于条件互信息建立了局部去噪器保真度的信息论界限,并在真实数据集进行了数值验证。研究指出:远离相变临界点时,可使用小型局部神经网络计算分数函数;仅在相变发生的狭窄时间区间才需全局神经网络。这一发现不仅为研究数据分布相变、拓展生成式人工智能科学提供了新范式,也为基于物理概念设计神经网络架构开辟了新路径。

量科快讯