作者:Maryam Shaygan, Collin Meese, Wanxin Li, Xiaoliang (George) Zhao, Mark Nejad
期刊:Transportation Research Part C: Emerging Technologies,Volume 145,2022,103921
下文展示Markdown格式对该综述的提炼,作者主要强调了在交通领域 [ 外部数据、联邦学习、迁移学习 ]的重要性,思维导图见文章最后的链接,欢迎讨论!
目录
1. 引言(P1)
列举了现有基于ITS的城市交通管理项目
交通拥堵问题
-
经常性
- 道路容量不足
-
非经常性(约50%)
- 事故、故障车辆、恶劣天气、工作区和特殊事件等
研究集中在长短期预测问题
-
长期和短期的划分存在两种方法
- 设置阈值区分
- 短期与模型输出的预测步长有关
必须研究新兴技术
-
自动驾驶汽车(AV)
-
物联网(IoT)
-
新型机器学习技术
- 联邦学习(Federated Learning)
-
安全无线连接和信息共享方案
- 区块链(Blockchain)
多元时间序列在交通上的独特性
- 非平稳关系
- 具有强局部性考虑的全局空间相关性
- 多个时间尺度(例如最近、日周期、季节)上的高时间变化性
- 周期性、非周期性
- 外部因素影响(如事故、天气、事件)
2. 交通预测现有综述及其侧重点(P3)
建议查看原文
2020前 不做展开
Boukerche和Wang (2020a)
- 经典方法和一些早期深度学习方法
Tedjopurnomo等人(2020)
- 循环神经网络、卷积神经网络和前馈神经网络
Ye等人(2020)
- 基于图的深度学习架构
Xie等人(2020)
- 时空数据,传统的机器学习和深度学习模型
Gobezie和Fufa(2020)
- 不同方法、开发工具和基准性能评估指标
Wang等人(2020a)
- 各种时空数据挖掘任务中的深度学习方法
Kumar和Saha(2020)
- 自动驾驶应用背景下的交通预测
Lee等人(2021)
- 输入数据表示方法、深度神经网络(DNN)
Yin等人(2021)
- 深度学习方法、公开数据集
Shi等人(2019,2021)
- 混合深度学习方法
Yuan和Li(2021)
- 时空交通数据
Manibardo等人(2021)
- 深度学习未必最佳
Laña等人(2021)
- 数据驱动的模型
Jiang和Luo (2022a)
- 公开数据集列表
3. 交通数据(P5)
数据类型
-
时空序列数据
-
固定位置传感器数据
-
来源
- 电感环探测器(Inductive-loop detector)、摄像机、雷达和光探测和测距(LIDAR)
-
特点
- 空间覆盖范围有限
- 与深度神经网络模型的可用性和兼容性
-
例子
- PEMS、MATR-LA、LOOP
-
-
轨迹数据
-
来源
- 自动车辆识别(AVI)系统、蜂窝浮动车数据(CFCD,Cellular Floating Car Data)、GPS或全球导航卫星系统探测数据(GNSS,Global Navigation Satellite System)等移动传感器
-
特点(以移动vs 固定传感器为例)
- 移动传感器可靠性更高
- 移动传感器不会产生与固定传感器相关的一般维护成本(例如,天气损坏,部件故障,事故,破坏),提供了成本效益
- 移动传感器采样率相关的测量或插值误差会导致不确定性,需要对GPS轨迹数据进行预处理
-
例子
- INRIX、HERE、TomTom、NAVTEQ、TrafficCast、
- Taxi Data(T-Drive、TaxiBJ、SZ-taxi、NYC taxi和TaxiCD)
- Bus Data(NYC Bus、CHI BUS)
- Bike Data(CHI- bike、DCBike、NYC- bike)
- Subway Data(SHMetro、HZMetro)
-
-
网络基础设施数据
-
来源
- 政府机构(如FHWA),开放街道地图(OSM)等应用程序中提取
-
特点
- 可以将轨迹数据序列映射到道路基础设施上的实际位置,从而提高交通预测能力
-
例子
- GIS数据
-
-
行程记录数据
-
来源
- 出租车、叫车服务、电动踏板车、自行车、公交车和导航系统
- 地铁和公交车中的AFC(自动售检票)系统自动收集
-
特点
- 行程记录数据可以阐明驾驶员的特征,可能提高预测准确度和提供个性化预测。
-
-
-
外部数据
-
交通事件数据
- 事故、体育赛事和可能影响交通流量并导致拥堵的活动
-
工作区数据
- 道路施工
-
气象数据
- 如温度和湿度、风速和强度、眩光、降水(如雨、雪、冰雹)和恶劣天气(如风暴、龙卷风)
- 对自动驾驶尤为重要
-
社交媒体数据
- 利用社交媒体数据更好地了解人们、他们的决策和城市交通系统之间的关系
-
疾病传播数据
- 配药点(POD)位置的选择、与交通的结合以及对交通影响
-
城市系统数据
- 利用用电数据对高峰时段公路拥堵的开始进行可靠预测
-
数据分辨率
-
时间分辨率
-
数据分辨率与预测范围和步长密切相关
- 例如,1个时间步长5min,要预测未来1h的流量,与1个时间步长15min,预测1h的流量相比。前者为高分辨率,后者为低分辨率。
-
时间范围和预测精度之间存在权衡
- 经过训练在短步长的小时间范围内预测流量的模型可能会为细粒度预测产生更好的精度,但性能会随着时间范围或步长的增加而下降。
-
高分辨率数据的准确预测仍具有挑战
- 因为这类数据通常表现出强烈的波动
-
-
空间分辨率
-
固定位置传感器一般1-3公里,移动传感器一般100米
- 由于后者的高分辨率,可以更好地说明交通的动态性;包含了关于道路连接的整个路段的信息,可以更好地说明空间相关性;可以在没有部署传感器的网络区域中提供交通信息。
-
数据预处理方法
-
地图匹配
- 将数据中的纬度/经度坐标分配给地理道路网络上的位置
- 尽管地图匹配有助于澄清和解决交通预测数据的不确定性,但不准确的测量和采集数据的低采样率带来了质量问题,给地图匹配方法带来了挑战
-
数据清理
-
缺失数据
-
硬件故障、软件错误和人为错误造成
-
分为两类
-
短期缺失值(1s-5mins)
- 使用时间平滑度来推断缺失的值
-
长期缺失值(hours - days)
- 通常使用数据集的平均值或模式来替代长期缺失的值,一般误差较大
-
-
-
数据异常值
-
人为错误、罕见异常、标签错误、校准不良、设备故障和其他数据收集问题
-
识别出异常值
-
了解异常值数据的原因及其存在原因,将错误数据与异常交通状况区分开
- 删除异常值
- 修复异常值
- 分开分析,异常值可能会有帮助
-
-
-
-
数据不平衡
- 小型数据集很好识别。但大型数据集仍是挑战
-
-
数据存储和聚合
-
分布式系统
- 区块链网络
-
联邦学习
-
-
数据压缩
-
在线算法
- 基于简化的方法
- 基于道路的方法
-
离线算法
- 基于窗口的方法
- 基于移动属性的方法
-
4. 交通预测方法和模型(P15)
统计方法
-
非学习方法
- 不需要训练数据,只根据历史数据或相似数据进行预测
- KNN,历史平均(HA)和传统的向量自回归(VAR)模型
-
参数方法
- 需要根据观测数据拟合出一些参数,然后用来预测未来的数据
- 非线性回归、平均算法、平滑、贝叶斯网络(BN)和卡尔曼滤波(KF)、自回归综合移动平均(ARIMA)
-
特点
-
缺乏考虑时空关系的复杂性,不能考虑固有的空间相关性
- ST-ARIMA
- VARMA
-
建模使用了带有强假设的显式参数化函数,不适合模拟真实的交通应用场景
- ST KNN
-
无法处理复杂(高维)和动态时间序列数据
- 经典方法和基于DL的方法相结合的混合方法
-
传统的机器学习
-
基于特征的方法
- 使用人工设计的交通特征来训练一些实际交通预测问题的回归模型;容易实现
- 性能有限;复杂;人工设计带来一些问题
-
高斯过程模型
- 使用各种核函数建模交通数据内部特征;预测结果可信可靠;同时捕获时空相关性
- 面对大量数据较弱;比前者有更高的计算存储需求
-
状态空间模型
- 假设观测结果是从马尔可夫隐态导出的;能自然地表示系统的不确定性,以及更好地捕获时空数据的潜在结构
- 很难推广非线性关系;它们并不总是建模复杂和动态交通数据的最佳选择,尤其是长期预测
用于多元交通预测的深度学习
-
基础DNN模型
-
多层感知机(MLP,multi-Layer perceptrons或 vanilla neural networks )
- 一种前馈神经网络模型,通常用于解决分类和回归问题
- 反映局部依赖;简单解释性强
- 大型MLP网络上进行训练容易梯度爆炸;容易产生噪声;落伍了
-
自编码器(AE,Autoencoder )
-
一种无监督学习模型,由三部分组成: 编码器(将输入特征转换为抽象)、解码块(尝试重建输入特征),使用一些非线性隐层来减少输入特征,适合用于数据插补、数据压缩和特征提取
-
堆叠AE(SAE)
- 从交通数据中分层提取最重要的特征
-
提取更有用、高水平特征;处理大数据和未标记的数据
-
需要大量高维输入数据进行训练,必须经过预训练阶段,这可能会导致梯度消失;可解释性不好;很难去寻找编码层数量
-
-
-
受限波尔兹曼机(RBM,Restricted Boltzmann Machines)
-
一种用于学习概率分布的生成模型。与传统的神经网络模型相比加入了基于原始多层神经网络特征学习部分。利用贪婪学习过程初始化模型参数,然后利用标签对整个模型进行微调
-
投影步骤是从信号到特征,再到值。网络可以自由选择数据特性
-
很难映射交通系统中元素之间的复杂关系;高计算代价
-
变体
-
深度信念网络(DBN)
- 由多个受限玻尔兹曼机组成
-
深玻尔兹曼机(DBM)
- 不受限制的,包含更多的隐藏层和节点之间的无方向连接
-
-
-
卷积神经网络(CNN)
-
由一系列的卷积和池层(减少特征维度,方便找到有用的模式),后跟一个完全连接层(用于分类)
-
擅长捕获局部空间依赖性;能够提取相关特征
-
增加额外的参数,这可能会导致过度拟合和增加训练时间;传统的卷积运算是针对欧几里得空间中的数据设计的,会破坏关键空间关系
-
-
时间卷积网络(TCN)
-
因果性(Causality)
- 每一层输出都只查看最近的历史样本
-
膨胀(Dilation)
- 每个过滤器只检查历史样本的子集
-
递归神经网络(RNN)
-
-
由许多连续的循环层组成,这些层按顺序建模,以便将序列与其他序列映射
-
时序数据上有很好的性能,捕捉短期(例如,每日周期性)和长期(例如,季节性)趋势的强大能力
-
无法考虑空间依赖关系;存在梯度爆炸、消失问题
-
变体
-
LSTM
- 有称为门(忘记门,输入门和输出门)的内部机制,以了解哪些数据在序列中是重要的,保持或丢弃
- 长序列记忆单元性能更佳;擅长序列数据
- 训练时间更久;模型更复杂;计算代价更高
-
GRU
- 只有两个门(更新门与重置门)
- 比LSTM更快;擅长序列数据
- 在准确性方面效率比LSTM较低
-
-
图卷积神经网络(GCN)
- 一种基于谱的卷积 GNN,通过引入图形信号处理的滤波器来定义
- 开发交通网络的图结构;擅长捕获空间依赖性
- 需要人工定义的拓扑图
-
小波神经网络(WNN,wavelet neural network)
- 包含一个隐藏层,利用非线性小波基函数作为激活函数
- 小波的时频局部化;自学习;容错性
- 可以偏向局部极小值或局部极大值;容易陷入局部极值,收敛速度慢,预测精度低
-
注意力机制(Attention-based)
- 包括编码器网络(将输入向量映射到更高层次的表示)、注意力模型(根据解码器的当前状态总结编码器的输出)、解码器网络(根据先前预测的顺序对下一个目标的输出分布建模)
- 更能有效地考虑长程和成对依赖关系;注意力权重提供更好的解释性;在NLP里很牛
- 训练时间久;参数多
-
基于深度学习的方法的局限性
-
计算复杂性和效率
-
强调模型准确性的进步在很大程度上依赖于计算能力的同时进步,改进DL方法的计算需求正在迅速超过硬件或效率的进步
-
现有方法
- 利用优化来搜索超参数集来提高神经网络的效率
- 模型修剪策略,试图压缩已经训练好的网络
-
-
最佳模型选择
-
满足捕捉
- 空间依赖性
- 时间相关性
- 时空相关性
-
最佳模型参数
-
-
缺乏可解释性
-
可解释性是理解为什么特定方法比其他方法表现更好或更差的关键
-
限制方法适用性
- 假设算术和认知不确定性遵循多元高斯分布,这可能不适用于误差分布为多模态的高度非线性系统
- 假设测量不确定度在测量之间的时间上是不相关的
-
-
可移植性差
- 应用在训练一个模型时获得的知识来加快新模型的训练时间
- 关于交通预测问题的迁移学习方法的文献很少
-
-
深度学习评估方法
-
MSE、MAPE和RMSE是文献中最常用的方法
- 负相关
-
在决定训练集大小和所需的特征数量时,考虑过度拟合和拟合不足的问题也是至关重要的
-
5. 常见交通预测评价指标及相关应用(P31)
多元交通流量和速度预测
-
区域流量预测
- 现有大多聚焦微观层面(低分辨率),目前区域流量预测成为焦点,一方面存在更高层次特征和关系,另一方面减少计算开销
-
网络流量预测
- 通过交通网络内每个道路和交叉口的交通流
-
速度预测
- 路段级别的速度信息可能会实时揭示有问题的拥堵
- 网络范围的速度预测少
- 现有方法推广到其他网络时性能较差
行程时间预测
-
路径-行驶时间方法
-
侧重于预测预定义路径或路段的行驶时间
-
将特定路线作为输入(从GPS轨迹数据导出),并输出估计的行进时间
-
两种主要方法
- 个体,将整个路径分割成更小的块,并估计每个部分的旅行时间并将其相加
- 集体,其中考虑整个路径,并生成单个总体旅行时间估计
-
问题
- 出租车收集的轨迹数据难推广到一般司机
- 探测器数据密度阻碍推断
-
-
OD行驶时间估计
- OD行驶时间试图利用车辆轨迹数据来预测总行驶时间,而不需要给定车辆经过的确切路径
- 减少计算时间同时消除推断误差
- 考虑外部因素及其影响是否可以进一步提高这种方法的性能?
出行需求预测
-
区域级需求预测
-
OD需求预测
-
存在问题是
- 没有适当考虑数据中的非欧几里得需求结构
- 只使用无向图和静态图来捕捉成对关系
-
6. 未解决的研究问题和未来的研究方向(P37)
互联和自动驾驶汽车(CAVs)交通预测
-
基于AV的系统性能将内在地取决于可用的流量预测能力
-
异构数据、信息存储传输
-
隐私保护和去中心化交通预测模型
- 联邦学习
用于交通预测的联邦学习方法
- 一种新兴的隐私保护和分布式机器学习方法
- 数据不平衡、类缺失、特征缺失和值缺失的问题可能会限制基于FL的交通预测模型的实际实现
- 是否有可能训练一个基于FL的在线交通预测模型
区块链交通预测
- 固有的不变性和去中心化特性,以为分布式计算(例如,模型训练和推理)、存储和共享数据提供边缘解决方案
- 区块链技术在流量预测方面尚未完全形成或标准化
- 存在过度能源消耗、低吞吐量和高资源消耗的担忧
异常交通事件检测和缓解
- 交通网络中进行异常检测的文献很少
- 很少有现有的工作特别利用DL模型对异常交通拥堵进行分类
- 模型训练过程中,异常事件已经被归一化或去除
混合交通运输网络中的交通预测
-
安排完整行程
- 包含多种模式(如步行、自行车、地铁、汽车)的起点到终点的旅行
- 两个基本功能:多模式和时间相关的交通预测和最短路径算法
-
数据可用性是该领域未来研究的一个障碍,因为一些交通网络对行人设施的空间数据覆盖范围有限
交通预测中的数据挑战
-
有限的数据访问和合成数据
-
数据不公开
-
解决方案:生成人工交通数据
- GAN
- 数据插补
-
-
基准交通预测
- 在不同数据集上训练和评估的方法之间的结果没有参考价值
- 解决方案:提供开源平台来访问不同的统一交通数据集
-
外部数据限制
- 首先建立一个具有足够时空覆盖和数据密度的真实交通数据的基准数据集。之后,如果需要,可以将业务数据与补充数据连接起来。
-
多源数据
-
融合来自多个来源和不同数据集的信息
-
特征的重要性
- 节省资源
-
-
数据收集
-
现有模型是否可以适用于其他交通网络,或者是否可以利用当前模型来加快新模型的训练。
- 迁移学习方法作为解决大规模交通预测模型适应性问题的一种手段
-
主要收集区域:区域城市交通网络、高速公路、高速公路和高速公路
- 对城市主干道预测问题的重视程度较低
-
思维导图
蓝奏云: 文件 密码:eq72