简介
本推文主要介绍了一种模式匹配动态记忆网络的多模交通流预测方法，论文标题为《Pattern-Matching Dynamic Memory Network for Dual-Mode Traffic Prediction》，第一作者为Wenchao Weng。近年来，深度学习在交通预测领域受到了越来越多的关注。然而，现有模型通常依赖复杂度为O(N²)的图卷积网络或注意力机制来动态捕获节点特征，效率低且不够轻量化。此外，这些模型仅利用历史数据进行预测，未考虑目标信息对预测的影响。针对这些挑战，论文提出了一种模式匹配动态记忆网络，通过递归多步预测和并行多步预测两种方法，在获得优异性能的同时显著降低了计算开销。实验结果表明，该方法在十个数据集上的表现均优于现有基准模型。
本推文由朱旺撰写，审校为李杨和陆新颖。
论文下载地址：https://arxiv.org/abs/2408.07100。
开源代码地址：https://github.com/wengwenchao123/PM-DMNet。
一、研究背景
早期的深度学习预测模型将城市交通概念化为图像，并将其划分为网格。卷积神经网络用于分析这些网格内的空间相关性，而递归神经网络则用于捕捉时间相关性。随着对预测精度要求的提升，交通网络的结构被视为包含非欧几里得特性的拓扑图，图卷积网络能够更全面地捕获节点信息。此外，注意力机制也被应用于时空特征建模。
然而，这些方法仍然存在以下局限性：
（1）缺乏有效的交通特征提取：在实际场景中，交通网络的结构往往表现出稀疏性，节点只与其他节点的一个子集相关，大多数节点之间并没有直接的相关性。因此，计算不同流量模式之间的节点相关性既没有意义，又需要大量资源。
（2）预测趋势变化的不确定性：目前的研究提出了多种提取时空特征的方法，但它们完全依赖历史数据来模拟交通状况，因此在面临突变时，无法准确捕捉预测目标的趋势变化。
二、方法
论文针对现有方法在有效交通特征提取和预测趋势变化的不确定性方面的不足，采用编解码架构设计了模式匹配动态记忆网络（PM-DMNet）。该网络在获得优异性能的同时，显著降低了计算开销。如图1所示，PM-DMNet主要由三个模块组成：时间嵌入生成器、动态模式匹配循环单元和转移注意机制。
图1 PM-DMNet的整体框架
在时间嵌入生成器中，论文引入了两个独立的嵌入池来学习每日和每周模式的特征，从而生成对应于特定时间点的日内时间特征嵌入和周时间特征嵌入，以捕获更全面的时间特征，如早晚高峰。为了捕捉交通状况固有的时空特征，论文将门控循环单元与动态记忆网络结合，利用动态记忆网络替代多层感知机，获得全新的复位门和更新门。
如图2所示，动态记忆网络的存储器模块中包含一个可学习的存储器矩阵，用于表示不同的交通模式。模型通过提取交通中的动态信号来查询最相似的交通模式记忆矩阵，并通过相似度计算来评估记忆矩阵与不同交通模式之间的相似度权重，从而得到各种流量模式对应的特征。最后，通过残差连接和可学习参数来优化模型的特征捕获。
为减少历史数据与预测目标之间差异导致的误差，论文利用转移注意机制将学习到的隐藏特征从历史数据中提取出来，并通过历史时间嵌入和目标时间嵌入进行迁移学习，以更有效地适应预测目标时间点的状态。
图2 动态记忆网络
三、实验及结果
（1）数据集
时空图数据是一种广泛存在于我们日常生活中的非欧几里得数据，如城市交通网络、地铁系统流入/流出、社会网络、区域能源负荷等。论文将实验所用到的十个数据集分为四大类：自行车需求、出租车需求、交通流量和交通速度。并对数据集在节点个数、时间步、时间范围、采样间隔和数据集划分方面做了详细统计。数据集的详细描述如表1所示：
表1 十个数据集的统计和描述
（2）对比实验
论文对PM-DMNet与传统模型、机器学习模型和深度学习模型进行了对比实验。实验结果如表2和表3所示，PM-DMNet在所有数据集上的预测误差均低于基线模型，且误差增长率也更慢。PM-DMNet通过利用与预测目标相对应的时间信息，显著降低了预测的不准确性，从而提升了模型的整体性能。
表2 PM-DMNet在五个需求数据集与基线的性能比较
表3 PM-DMNet在五个交通数据集与基线的性能比较
（3）计算成本分析
表4 在四个数据集上的计算成本分析
为了验证模型的计算效率，论文评估了所选模型的训练时间、推理成本和GPU成本。从表4可以看出，PM-DMNet的训练和推理时间明显低于其他基线模型。在大规模数据上，图卷积网络的复杂度为O(N²)，而动态记忆网络的时间复杂度为O(N)，显著低于图卷积网络，展示了论文模型在计算速度上的优势。
四、总结
论文提出了一种流量预测模型PM-DMNet。PM-DMNet采用一种新的动态记忆网络模块，将最具代表性的交通模式学习到记忆网络矩阵中。在预测过程中，模型通过将当前流量模式与记忆网络矩阵进行匹配来提取模式特征。此外，PM-DMNet支持并行和顺序多步预测方法，以满足不同的需求。为了进一步提高并行多步预测的精度，引入了转移注意机制来缓解历史数据与预测目标之间的差异。大量的实验验证了PM-DMNet的有效性。
更多内容敬请关注本公众号
