最近仔细阅读了Long short-term memory neural network for traffic speed prediction using remote microwave sensor data，在这边记录下文章的主要内容和感受。本来是想做为作业上交的，结果老师换了个作业，于是就直接公开发博文吧，哈哈哈。花了几天复现了一下文章，也不是很难，结果和Ma的结论基本是一致的，有空写一篇复现的文章。
一、 摘要
神经网络广泛运用于交通预测中，本研究首次提出将Long Short-Term Neural Network(LSTM NN)运用于交通预测中去，该模型可以捕捉非线性的动态变化。LSTM NN模型克服了梯度下降过程中梯度消失的缺点，因此对于长时间依赖的时间序列数据展现出格外优越的性能。为了进一步验证LSTM NN的能力，基于北京市的两个微波检测器采集到的数据来进行实证研究。并且将LSTM NN的预测效果与传统的RNN模型以及其他流行的参数及非参模型进行对比，最后，发现LSTM NN能达到最好的预测准确性和稳定性。
二、 Introduction
智能交通系统的成功应用有赖于对交通信息的准确获取。Advanced Traffic Management Systems (ATMS)和Advanced Traveler Information Systems (ATIS)尤其是这样。其中很重要的一块信息就是要预测未来的交通状态。预测未来的交通状态可以帮助出行者更好地进行路径选择和出行规划，也可以为交通专家制定缓解交通拥堵和提升道路安全措施提供支持。
目前通常采用线圈数据来预测旅行时间和交通量，并利用视频数据得到真实的道路速度，使用其他数据来进行速度预测的研究很少。相较于旅行时间，道路的速度参数相对而言有较多的获取方式，比如GPS等方式。Remote Traffic Microwave Sensors (RTMS)由于不需要封闭道路进行安装等优点，现在被广泛运用于工程实践中，它可以采集流量、速度、占有率参数，RTMS采集的速度参数准确率可以达到95%。
相较于传统的统计手段来做预测，现在的一些人工智能方法越来越受到青睐，特别是人工智能手段在处理带有噪声、丢失数据的数据集时，比传统的统计手段更有优势。神经网络（ANN）是人工智能手段的典型代表之一。目前已经有大量关于神经网络用来预测的研究了，RNN模型由于其结构的特殊性非常适合用来处理时空数据，但是主要存在以下两个问题：1、我们必须确定RNN的延迟时间步；2、RNN无法捕捉长时间的数据依赖性。而LSTM NN有望于克服传统RNN的这两个缺点实现更好的预测效果。
本文的创新点主要包括以下3个方面：1、LSTM NN被首次用来进行速度预测；2、该方法可以自动确定延迟时间步；3、将LSTM NN与传统的RNN以及传统的统计手段进行性能比较。
本文的行文结构为：首先对交通预测的研究进行了综述；第二，介绍了LSTM NN的结构；第三、使用北京市的数据进行了实证研究，并将LSTM NN、传统RNN模型（Time-delayed NN, Elman NN, Nonlinear Autoregressive NN）、SVM、ARIMA、卡尔曼滤波方法进行比较，最后得出结论并进行了讨论与展望。
三、 文献综述
交通流预测可以分为参数方法和非参数方法。
3.1参数方法
参数方法也就是说预先确定模型，然后用数据标定参数。常见的参数方法包括分析模型和参数标定模型，分析方法中参数计算通过等式进行计算，例如Bureau of Public Roads (BPR) function。旅行时间的计算基于需求的容量比得到。但是参数实际上存在一定的随机性，因此通过等式计算并不能得到非常好的参数，因此可能会导致结果的不稳定。对于仿真模型，交通流基本理论是最为经典的状态参数获取方法。基于此提出了许多的改进模型，比如动力波模型、分子模型、三相交通流模型等等。虽然这些分析可以帮助我们更好的理解交通的内在运行规律和机理，但是这些模型大多涉及非常理想化的假设，有限的数据支撑，因为交通的主体是人，而人有很大的机动性，因此很难真正透彻理解机理。
时间序列分析也可以被区分为参数方法和非参数方法。最经典的参数方法是ARIMA模型。
3.2非参数方法
非参数方法的模型结构和参数都是不固定的，经典的统计模型和人工智能模型是最为流行的两种模型，其中较为常用和经典的用语交通参数预测的方法包括以下几种。
3.2.1卡尔曼滤波
3.2.2支持向量机
3.2.3人工神经网络
人工神经网络有一类特殊的模型被称为循环神经网络（RNN），由于其结构特征十分适合用来预测时间序列数据，传统的RNN模型也包括以下几种不同结构的RNN：（1）Elman Neural Network；（2）Time-Delay Neural Network；（3）Nonlinear autoregressive with exogenous inputs (NARX) neural network。
传统的RNN模型具有优越的预测性能，但是依然存在下述的两个问题。
1、 传统的RNN模型无法训练一个长时间延迟的时间序列数据。
2、 传统的RNN需要预先设定延迟时间步，但是很难自动获取这个延迟时间步。
四、 Long short-term memory neural network（LSTM NN）
本文采用的LSTM NN模型，该模型由一层输入层、一个循环隐藏层、一个输出层，但是与传统的RNN模型不同，该模型的基本单元是记忆块，记忆块包括记忆单元，记忆单元由遗忘门、输入门、输出门组成，这些门单元就在一定程度上解决了梯度消失的问题，并且也可以自动控制历史信息的传递和遗忘，因此LSTM NN在一定程度上解决了传统RNN的缺点。记忆块的基本结构如下图所示：
LSTM NN模型结构
五、 模型发展
本文选择了两个微波检测器数据进行实证研究，两个微波检测器方向相反，并且被安装在高速路上。数据的时间段为2013年6月1日至2013年6月30日，采集频率是2分钟，采集内容包括流量、占有率、速度。缺失数据使用时间维度相邻的数据进行填充。本文使用前25天作为训练集，后5天的数据作为测试集，模型被用作预测后两分钟速度基于之前的速度和流量数据。除了LSTM NN外，其他模型均变换延迟时间步以及不同的输入组合，每个算法执行10次来减少随机性。
六、 结果和比较
所有的传统RNN模型均保持一致的拓扑结构：1个输入层、1个隐藏层、1个输出层。有10个隐藏的神经元在隐藏层中。对于SVM模型，Radial Basis Function（RBF）被用来训练参数。ARIMA模型的参数p，d，q使用AIC准则来确定。对于卡尔曼滤波方法，噪声点被假定被高斯分布。
LSTM NN由一个输入层、一个LSTM层，该层带有记忆块，以及一个输出层。Mean Absolute Percentage Errors(MAPE)，Mean Squared Errors(MSE)被选择作为比较不同模型性能的指标。
表1、表2给出了各个模型的性能比较。根据该表我们可以知道LSTM NN是效果最好的模型，并且LSTM NN模型超过传统RNN模型和SVM模型至少28%的准确性在绝大多数的情况下。不过存在一个情况Elman NN的MAPE比LSTM NN效果更佳，但是这个结果并不能表明Elman NN效果比LSTM NN更好，因为一个更为细致的比较显示Elman NN非常不稳定，有很大的MSE值。该发现与Kikuchi和Nakanishi的发现相一致：Elman NN有时无法学习得十分成功。NARX NN模型比其他的传统RNN模型效果更好，但是优势很微小。SVM效果也非常不错，可以和NARX NN模型相媲美，但是SVM调参十分耗时耗力。就预测效果而言，卡尔曼滤波和ARIMA模型的效果远差于其他模型，这可能是由于这两个方法做了过多的过强的假设所造成的。
表3和表4展示了将输入设置为速度和交通流量后的性能。与表1和表2的结果相类似，LSTM NN仍比其他方法优越。此外，当速度和交通流量均被作为输入时，效果要由于单一的历史速度作为输入，但是性能提升不明显。
进一步研究预测效果，预测2014年6月30日的速度，并将NARX NN模型的预测效果，以及真实速度绘制成折线图如下所示。可以发现NARX NN倾向于低估未来的速度。这可能是因为不足够的学习能力。
根据上述的分析我们可以得到以下3个结论：
（1）对于传统的RNN模型而言，延迟时间步是非常重要的，正确设置延迟时间步参数可以大大提升性能。LSTM可以自动确定延迟时间步，因此效果最优。
（2）NARX NN超过了其他的传统的RNN模型，因为NARX NN可以包括先前的输入和额外的输入，Elman NN模型会遇到诸如训练时间长、偶尔的训练失败等问题，因此并不适合作为速度预测模型。
（3）SVM模型可以实现相对好的预测效果，但是调参非常耗时耗力。
七、 结论
本文展示了一种全新的LSTM NN进行预测速度的方法。LSTM NN可以学习时间序列的长期相关性，并且可以自动确定延迟时间步。这对于交通参数的预测是非常有利的和适合的。为了实证研究LSTM NN的效果，1个月的速度数据被收集，前25天作为训练集，后5天作为测试集。此外，3种不同拓扑结构的RNN模型以及其他的一些参数和非参模型被用来与LSTM NN模型进行比较。实验结果显示LSTM NN模型的准确性和稳定性胜过其他模型，主要获得了以下3个有用的发现：
（1）随着延迟时间步的延长，速度预测准确性提高。正确的设定延迟时间步可以提高速度预测的准确性。LSTM NN模型可以在无需确定延迟时间步的基础上实现很好的速度预测效果。
（2）NARX NN相较于其他传统的RNN模型可以起到更好的效果，由于不充分的学习，Elman NN可能会产生不稳定的结果。
（3）SVM也是十分适合用于时间序列数据的预测的，能够产生很好的预测效果，但是需要耗费很多精力调整参数。
未来的研究可以考虑使用时空信息作为LSTM NN的输入，比如使用相邻车道的速度来作为额外的输入。此外，不同的数据采集水平对预测效果的影响也可以进行分析。对于LSTM NN模型进行改进，比如增加隐藏层的深度等也可以作为研究方向。
参考文献：
Ma X , Tao Z , Wang Y , et al. Long short-term memory neural network for traffic speed prediction using remote microwave sensor data[J]. Transportation Research Part C Emerging Technologies, 2015, 54:187-197.