扩散模型
扩散模型(diffusion model)是一类生成模型,运用了物理热力学扩散思想,主要用于对复杂数据分布进行建模和采样。以图片生成举例简要介绍下扩散模型运作方法。给定目标分布q(x)中的一些观测数据x,生成模型的目标是学习一个生成过程,从q(x)产生新样本。通过注入高斯噪声逐步扰动观测数据,然后应用 一个可学习的转换核心进行逆过程以恢复数据。
在概念上,其实就像是米开朗基罗说的:“塑像就在石头里,我只是把不需要的部分去掉”,扩散模型做的事情是相同的。目前扩散模型已经在时间序列的预测、插值和生成任务中崭露头角,本文总结和ICLR2024五篇扩散模型和时序任务结合的文章。
1
Diffusion-TS
论文标题:DIFFUSION-TS: INTERPRETABLE DIFFUSION FOR GENERAL TIME SERIES GENERATION(ICLR2024)
论文提出Diffusion-TS,利用带有解耦时间表示的编码器-解码器Transformer,生成高质量的多变量时间序列样本。在这个框架中,论文采用一种分解技术,使Diffusion-TS能够捕捉到时间序列的语义含义,而Transformer则负责从带有噪声的模型输入中深入挖掘详细的序列信息。与现有的方法不同,作者训练模型在每个扩散步骤中直接重建样本,而非噪声,并结合了基于傅里叶的损失项。
作者开源了代码和模型,定性和定量实验表明Diffusion-TS在时序任务中均取得了卓越的性能表明能够生成高质量、具有强解释性的时间序列数据。
2
FTS-Diffusion
论文标题:GENERATIVE LEARNING FOR FINANCIAL TIME SERIES WITH IRREGULAR AND SCALE-INVARIANT PATTERNS(ICLR2024)
金融时间序列特有的不规则和尺度不变模式——即时长和幅度各异的时间动态——难以被现有方法所捕捉。为此,本文提出FTS-Diffusion生成框架,用于建模不规则和尺度不变的模式,该框架包含三个模块:尺度不变模式识别算法,用于提取时长和幅度各异的重复模式;基于扩散的生成网络,用于合成模式的片段;建模模式的时间转换过程,以便将生成的片段聚合。大量实验证明FTS-Diffusion生成的合成金融时间序列与观测数据高度相似,性能优于最先进的替代方案。
3
MG-TSD
论文标题:MG-TSD: MULTI -GRANULARITY TIME SERIES DIFFUSION MODELS WITH GUIDED LEARNING PROCESS(ICLR2024)
本文提出一种多粒度时间序列扩散(MG-TSD)模型,通过利用数据中的固有粒度级别作为中间扩散步骤的给定目标,以此来指导扩散模型的学习过程。这种目标构建方式受到以下观察的启发:扩散模型的前向过程,即按顺序将数据分布破坏为标准正态分布,直观上与将细粒度数据平滑为粗粒度表示的过程相吻合,两者都导致了精细分布特征的逐渐丧失。作者推导了一种新颖的多粒度引导扩散损失函数,并提出一种简洁的实现方法,以有效利用不同粒度级别的粗粒度数据。该方法不依赖于额外的外部数据,使其具有通用性并适用于各种领域。在真实数据集上进行的广泛实验表明,MG-TSD模型优于现有的时间序列预测方法。
4
MR-Diff
论文标题:MULTI-RESOLUTION DIFFUSION MODELS FOR TIME SERIES FORECASTING(ICLR2024)
时间序列通常会在多个尺度上展现出不同的模式,本文利用这种多分辨率时间结构,提出了多分辨率扩散模型(mr-Diff),采用季节-趋势分解方法,从时间序列中顺序提取从精细到粗糙的趋势,进行前向扩散。去噪过程则以易到难的方式进行,首先生成最粗糙的趋势,然后逐步添加更精细的细节,同时利用预测的较粗糙趋势作为条件变量。在九个真实世界时间序列数据集上的实验结果表明,mr-Diff优于现有的时间序列扩散模型,并在各种先进的时间序列预测模型中表现更好或相当。
mr-Diff的创新之处在于它充分利用了时间序列数据的多尺度特性。通过提取不同分辨率的趋势,模型能够捕捉到数据中从全局到局部的复杂结构。此外,非自回归的去噪过程使得模型能够逐步构建时间序列的预测,从粗到细地添加细节,提高了预测的准确性和稳定性。
5
TMDM
论文标题:TRANSFORMER-MODULATED DIFFUSION MODELS FOR PROBABILISTIC MULTIVARIATE TIME SERIES FORECASTING(ICLR2024)
本文提出了一种Transformer MODULATED扩散模型(TMDM),将条件扩散生成过程与Transformer统一到一个框架中,以实现MTS的精确分布预测。TMDM利用Transformer的强大能力从历史时间序列数据中提取关键信息。这些信息随后被用作先验知识,在扩散模型的正向和反向过程中捕捉协变量依赖关系。作者还将Transformer的预测方法集成到TMDM中,以进一步提升其整体性能。TMDM的创新之处在于它将条件扩散生成过程与Transformer相结合,充分利用了Transformer在特征提取和模式识别方面的优势,同时保留了扩散模型在不确定性建模方面的能力。这使得TMDM能够在预测多元时间序列的同时,提供关于预测结果的不确定性信息,为决策制定提供了更全面的支持。
欢迎大家关注我的公众号【科学最top】,专注于时序高水平论文解读,回复‘论文2024’可获取,2024年ICLR、ICML、KDD、WWW、IJCAI五个顶会的时间序列论文整理列表和原文。