来源：算法进阶 专知
本文约6400字，建议阅读12分钟
本文为图神经网络时间序列建模最新综述！关注微信公众号“数据派THU”，后台回复“20230720”，即可获取“最新综述论文”
时间序列是用于记录动态系统测量结果的主要数据类型，并由物理传感器和在线过程（虚拟传感器）大量生成。因此，时间序列分析对于发掘可用数据中隐含的信息丰富性至关重要。随着图神经网络（GNNs）的最近进步，基于GNN的时间序列分析方法的研究有所增加。这些方法可以明确地模拟时间和变量之间的关系，这是基于深度神经网络的方法难以做到的。在这次综述中，我们对图神经网络进行了全面的时间序列分析（GNN4TS），包括四个基本维度：预测、分类、异常检测和插补。我们的目标是指导设计师和实践者理解，构建应用，并推进GNN4TS的研究。首先，我们提供了一个全面的任务导向的GNN4TS分类。然后，我们介绍并讨论代表性的研究工作，最后讨论GNN4TS的主流应用和潜在的未来研究方向。这次研查是首次汇集了大量关于基于GNN的时间序列研究的知识，突出了图神经网络用于时间序列分析的基础、实际应用和机会。
先进的传感和数据流处理技术的出现导致了时间序列数据的爆炸式增长，这是最普遍的数据类型之一，能够捕捉和记录各种领域的活动[1]、[2]、[3]。时间序列数据的分析不仅提供了对过去趋势的洞察，还有助于进行各种任务，如预测[4]，分类[5]，异常检测[6]，和数据插补[7]。这为依赖历史数据来理解当前和未来可能性的时间序列建模范式奠定了基础。在各种领域，包括但不限于云，时间序列分析变得越来越重要。
许多时间序列涉及到时间和变量之间的复杂相互作用（如效应传播的滞后）以及变量之间的关系（如表示相邻交通传感器的变量之间的关系）。通过将时间点或变量视为节点，它们之间的关系视为边，以网络或图的结构建模，可以有效地学习这些关系的复杂性。实际上，许多时间序列数据在本质上具有时空特性，序列中的不同变量捕捉了有关不同位置（空间）的信息，这意味着它不仅包含时间信息，还包括空间关系[12]。这在城市交通网络、人口迁移和全球天气预报等场景中特别明显。在这些情况下，例如在一个交叉路口发生交通事故、郊区爆发流行病或特定区域出现极端天气，局部的变化可以传播并影响相邻区域。这可能表现为相邻道路上交通量的增加、疾病传播到邻近的郊区、或者附近地区的气候条件发生变化。这种时空特性是许多动态系统的共同特点，包括图1中的风电场的另一个例子，其中底层的时间序列数据显示出一系列的相关性和异质性[13]。这些因素导致了复杂而复杂的模式的形成，给有效建模带来了重大挑战。传统的分析工具，如支持向量回归（SVR）[14]、[15]、梯度提升决策树（GBDT）[16]、[17]、向量自回归（VAR）[18]、[19]和自回归积分滑动平均（ARIMA）[20]、[21]，往往难以处理复杂的时间序列关系（例如非线性和序列间的关系），导致预测结果不够准确[22]。过去十年深度学习技术的出现，导致了基于卷积神经网络（CNN）[23]、[24]、循环神经网络（RNN）[25]、[26]和Transformer [27] 的不同神经网络的发展，这些方法在建模真实世界的时间序列数据方面显示出显著的优势。然而，以上方法最大的局限性之一是它们没有明确地在非欧几里得空间中建模时间序列之间存在的空间关系[13]，这限制了它们的表达能力[28]。
近年来，图神经网络（GNNs）已经成为学习非欧几里得数据表示的强大工具[29]、[30]、[31]，为建模真实世界的时间序列数据铺平了道路。这使得能够捕捉到多样而复杂的关系，既包括变量间的关系（多变量序列中不同变量之间的连接），也包括时间间的依赖关系（不同时刻之间的依赖关系）。考虑到现实场景中复杂的时空依赖性，一系列的研究将GNN与各种时间建模框架结合起来，以捕捉空间和时间动态，并展示了有希望的结果[13]、[32]、[33]、[34]、[35]。这种建模方法在许多实际应用领域广泛采用，涉及不同类型的时间序列数据，包括交通[36]、按需服务[37]、[38]、能源[39]、医疗保健[40]、[41]、经济[42]以及其他领域[43]、[44]、[45]。虽然早期的研究工作主要集中在各种预测场景上[13]、[33]、[34]，但利用GNN进行时间序列分析的最新进展已经在其他主流任务中展示出有希望的结果。这些任务包括分类[46]、[47]、异常检测[48]、[49]和数据插补[50]、[51]。在图1中，我们提供了图神经网络用于时间序列分析（GNN4TS）的概述。
为了填补这一空白，本综述提供了对图神经网络在时间序列分析中的全面和最新的综述，涵盖了时间序列预测、分类、异常检测和插补等主流任务。具体而言，我们首先从任务和方法论的角度提供了两个广泛的视角，对现有的工作进行分类和讨论。然后，我们深入探讨了GNN4TS领域内的六个热门应用领域，并提出了几个潜在的未来研究方向。我们的综述旨在为对图神经网络在时间序列分析中的最新进展感兴趣的机器学习从业者提供全面的内容。它也适用于领域专家，他们希望将GNN4TS应用于新的应用或在最近的进展基础上探索新的可能性。我们综述的主要贡献总结如下：
首次全面的综述。据我们所知，这是第一次对图神经网络在主流时间序列分析任务中的最新进展进行全面的综述。它涵盖了广泛的研究领域，并提供了对GNN4TS发展的整体视图，没有限制在特定的任务或领域。
统一和结构化的分类。我们提出了一个统一的框架，从任务和方法论的角度对现有的工作进行结构化分类。在第一个分类中，我们概述了时间序列分析中的各种任务，包括大多数基于GNN的相关工作中的各种预测、分类、异常检测和插补设置。我们在第二个分类中进一步提供了一个结构化的分类方式，从空间和时间依赖性建模的角度以及整体模型架构的角度来解剖时间序列分析中的图神经网络。
详细和最新的综述。我们进行了全面的回顾，不仅涵盖了领域的广度，还深入研究了各个研究的细节，并进行了细致的分类和讨论，为读者提供了对GNN4TS领域中最新技术的了解。
不断扩大的应用。我们讨论了GNN4TS在各个领域中不断扩大的应用，突出了它在多个领域中的多样性和未来增长的潜力。
对未来研究方向的洞察。我们提供了潜在的未来研究方向的综述，为GNN4TS领域的未来工作提供了洞察和建议。
本综述的其余部分组织如下：第2节介绍了本文中使用的重要符号和相关定义。第3节从不同的角度提出了GNN4TS的分类法，以及一个总体流程。第4节、第5节、第6节和第7节回顾了GNN4TS文献中的四个主要分析任务。第8节调查了GNN4TS在各个领域中的热门应用，而第9节则讨论了开放问题和潜在的未来方向。最后，第10节总结了本次综述。
2. 分类法
在本节中，我们提出了一个基于任务的综合分类法，用于描述图神经网络在时间序列分析中的应用。随后，我们通过引入统一的方法论框架，阐明了在各种任务中对时间序列数据进行编码的基本原则，并介绍了GNN体系结构的统一方法。根据这个框架，所有的体系结构都由一个类似的基于图的处理模块fθ和一个针对下游任务专门设计的第二个模块pϕ组成。在这里，我们还提供了一个使用GNN分析时间序列数据的一般流程。这些视角的结合提供了对GNN4TS的全面概述。
2.1 基于任务的分类法 在图3中，我们展示了一个基于任务的分类法，涵盖了时间序列分析中的主要任务和主流建模视角，并展示了GNN4TS的潜力。总结起来，我们的综述强调了四个类别：时间序列预测、异常检测、插补和分类。这些任务是基于空间-时间图神经网络（STGNNs）学习到的时间序列表示进行的，STGNNs在现有文献中被用作对时间序列数据进行编码的基础，在各种任务中发挥作用。我们将在第3.2节详细介绍这一点。
在图5中，我们展示了一个统一的方法论框架，用于进行时间序列分析中提到的STGNNs（第2.1节）。具体而言，我们的框架作为现有文献中对时间序列数据进行编码的基础，用于各种下游任务（图3）。作为扩展，STGNNs通过考虑图中节点之间的关系和节点属性随时间演变的情况来融入空间信息和时间信息。与[13]类似，我们从三个角度系统地对STGNNs进行分类：空间模块、时间模块和整体模型架构。
空间模块。为了建模时间序列之间的依赖关系，STGNNs采用了静态图上GNNs的设计原则。这可以进一步分为三种类型：频谱GNNs、空间GNNs和两者的组合（即混合型）[29]。频谱GNNs基于频谱图理论，使用图移位算子（如图拉普拉斯算子）来捕捉图频域中的节点关系[28]、[76]、[77]。不同的是，空间GNNs通过直接设计局部化到每个节点邻域的滤波器来简化频谱GNNs。混合方法结合了频谱和空间方法的优点。
时间模块。为了考虑时间序列中的时间依赖关系，STGNNs结合了时间模块，与空间模块协同工作来建模复杂的时空模式。时间依赖关系可以在时间域或频率域中表示。在第一类方法中，方法包括基于循环的方法（如RNNs [25]）、基于卷积的方法（如TCNs [78]）、基于注意力的方法（如Transformers [27]）以及两者的组合（即混合型）。对于第二类方法，采用类似的技术，然后进行正交空间投影[28]，如傅里叶变换。
模型架构。为了整合这两个模块，现有的STGNNs在整体神经架构上可以是离散的或连续的。这两种类型可以进一步细分为两个子类：分解型和耦合型。在典型的分解型STGNN模型架构中，时间处理可以在空间处理之前或之后进行，无论是以离散的方式（如STGCN [66]）还是以连续的方式（如STGODE [79]）。相反，耦合模型架构指的是空间模块和时间模块交替进行的情况，例如DCRNN [80]（离散）和MTGODE [22]（连续）。其他作者将非常相关的分类称为时间-空间和时间与空间[81]。
一般流程。在图6中，我们展示了一个一般的流程，展示了如何将STGNNs集成到时间序列分析中。给定一个时间序列数据集，我们首先使用数据处理模块对其进行处理，该模块执行必要的数据清洗和归一化任务，包括提取时间序列拓扑结构（即图结构）。随后，利用STGNNs获取时间序列表示，然后将其传递给不同的处理模块（即下游任务预测模块），执行各种分析任务，如预测和异常检测。
3. 图神经网络在时间序列预测中
时间序列预测旨在基于历史观测来预测未来的时间序列值。时间序列预测的起源可以追溯到统计自回归模型[105]，该模型通过对过去数值的线性组合来预测时间序列的未来值。近年来，基于深度学习的方法通过更有效地捕捉非线性的时间和空间模式，在时间序列预测方面取得了显著的成功[22]。这些方法包括循环神经网络（RNNs）、卷积神经网络（CNNs）和基于注意力的神经网络等。然而，许多这些方法，如LSTNet [106]和TPA-LSTM [107]，忽视并隐式地建模了时间序列之间丰富的动态空间相关性。最近，基于图神经网络（GNN）的方法在显式和有效地建模多变量时间序列数据的空间和时间依赖关系方面显示出了巨大的潜力，从而提高了预测性能。基于GNN的预测模型可以从多个角度进行分类和研究。在预测任务方面，尽管许多模型专注于多步预测（即基于历史观测来预测连续多步的未来值），少数模型也讨论了单步预测（即预测下一步或任意一步的未来值）。从方法论的角度来看，这些模型可以从以下三个方面进行分析：（1）建模空间（即变量间）依赖关系，（2）建模时间间的依赖关系，以及（3）将空间和时间模块进行架构融合以进行时间序列预测。代表性工作的总结见表2。
4. 图神经网络在时间序列异常检测中
时间序列异常检测旨在识别与数据生成过程的正常模式不符合的数据观测[141]。我们将异常定义为任何这样的数据点，而将符合正常模式的数据称为正常数据；然而需要注意的是，在文献中，不同的术语（如新颖性和离群值）几乎可以互换地用于描述异常[142]。这些与正常条件的偏离可以以单个观测（数据点）或一系列观测（子序列）的形式出现[143]。然而，与正常的时间序列数据不同，异常很难进行特征化，主要有两个原因。首先，它们通常与罕见事件相关联，因此收集和标记异常数据通常是一项艰巨的任务。其次，确定潜在异常事件的全部范围通常是不可能的，这破坏了监督学习技术的有效性。因此，非监督的检测技术已经广泛研究作为应对具有挑战性的实际问题的实用解决方案。传统上，方法[144]，如基于距离的方法[145]，[146]，[147]和分布技术[148]被广泛用于检测时间序列数据中的不规则性。前者使用距离度量来量化观测值与代表性数据点之间的差异，而后者则查看低概率点以识别异常值。随着数据生成过程的复杂化和多变量时间序列的维度增长，这些方法的效果变得不那么有效[149]。随着深度学习的进步，早期的研究提出了基于重构[150]和预测[151]策略的循环模型，以改进多变量时间序列数据中的异常检测。预测和重构策略依赖于预测和重构误差作为预期信号与实际信号之间的差异度量。这些策略依赖于一个事实，即如果在正常数据上训练的模型无法对某些数据进行预测或重构，则很可能该数据与异常有关。然而，循环模型[152]在对变量对之间的显式建模上存在不足，限制了其在检测复杂异常[48]，[153]方面的有效性。最近，图神经网络通过有效地捕捉变量对之间的时间和空间依赖关系，显示出解决这一问题的潜力[49]，[70]，[154]。
5. 图神经网络在时间序列分类中
时间序列分类任务旨在根据时间序列的潜在模式或特征为给定的时间序列分配一个分类标签。如最近的一项综述所概述的[177]，时间序列分类的早期文献主要集中在基于距离的方法上，用于为时间序列分配类别标签[178]，[179]，[180]，以及像Hierarchical Vote Collective of Transformation-based Ensembles (HIVE-COTE) [181]，[182]等集成方法。然而，尽管这些方法在性能上处于领先地位，但对于高维或大型数据集，它们的可扩展性仍然有限[183]，[184]。为了解决这些限制，研究人员开始探索深度学习技术在提高时间序列分类方法的性能和可扩展性方面的潜力。深度学习具有学习复杂模式和特征层次结构的能力，已经显示出在时间序列分类问题上的应用潜力，尤其是对于具有大量训练标签的数据集[185]，[186]。有关基于深度学习的时间序列分类的综述，请参阅Foumani等人的最新综述[177]。在这个领域中，一项特别有趣的发展没有在上述综述[177]中涉及，那就是将图神经网络应用于时间序列分类任务。通过将时间序列数据转化为图表示，可以利用图神经网络的强大能力来捕捉局部和全局的模式。此外，图神经网络能够映射特定数据集中不同时间序列数据样本之间的复杂关系。在接下来的几节中，我们将对单变量和多变量时间序列分类问题提供新颖的图神经网络视角。
6. 图神经网络在时间序列填补中
时间序列填补是许多实际应用中的关键任务，涉及估计一个或多个数据点序列中缺失或损坏的值。传统的时间序列填补方法依赖于统计学方法，如均值填补、样条插值[200]和回归模型[201]。然而，这些方法往往难以捕捉数据中的复杂时间依赖关系和非线性关系。虽然一些基于深度神经网络的工作，如[202]，[203]，[204]，已经缓解了这些限制，但它们没有明确考虑时间序列间的依赖关系。图神经网络的最近出现为时间序列填补带来了新的可能性。基于图神经网络的方法更好地表征时间序列数据中复杂的空间和时间依赖关系，使其特别适用于由于数据的日益复杂而产生的实际场景。从任务的角度来看，基于图神经网络的时间序列填补可以大致分为两种类型：样本内填补和样本外填补。前者涉及填充给定时间序列数据中的缺失值，而后者预测不连续序列中的缺失值[50]。从方法论的角度来看，图神经网络在时间序列填补中可以进一步分为确定性填补和概率性填补。确定性填补为缺失值提供单一的最佳估计，而概率性填补则考虑了填补过程中的不确定性，并提供了可能值的分布。在表5中，我们总结了迄今为止关于图神经网络在时间序列填补方面的大部分相关工作，提供了该领域及其当前发展状况的综合概述。
7. 本综述通过详细回顾最新进展并提供一个统一的分类法，从任务和方法的角度对现有工作进行分类，弥合了图神经网络在时间序列分析（GNN4TS）领域的知识差距。
作为第一部综合性的综述，它涵盖了广泛的任务，包括预测、分类、异常检测和填补，提供了对GNN4TS领域的最新技术水平的详细了解。我们还深入探讨了空间和时间依赖关系建模以及整体模型架构的复杂性，提供了对各个研究的细致分类。我们强调了GNN4TS在各个领域中不断扩大的应用范围，展示了它的多功能性和未来发展的潜力。本综述对于对这一领域的最新进展感兴趣的机器学习从业者和领域专家来说是一份宝贵的资源。最后，我们提出了潜在的未来研究方向，为GNN4TS领域的未来工作提供了启示和指导。
关注微信公众号“数据派THU”，后台回复“20230720”，即可获取“最新综述论文”
编辑：于腾凯
校对：汪雨晴
