[论文笔记]Toward Intelligent Vehicular Networks: A Machine Learning Framework

前言

[作者自留，非内容相关，可跳过]本文是使用机器学习方法解决车联网问题系列的第二弹blog，看题目感觉会提出一种结合机器学习的车联网的新架构，比起上一篇综述，这篇文章看起来干货满满（但是页数也比较长…），注意笔记的写作逻辑并尽量压缩字数吧！话不多说现在开始！
次日补充：昨天完成了本文前半部分 介绍 挑战 机器学习基础的学习（翻译），但看过朋友的进展后发现目前这样不行，到目前为止的所有论文学习都是按顺序看并做修改和删减，但介绍和基础知识部分有很多重复内容，因此之后的将跳过这段着重对该论文所提出的新东西进行整理和阐述！

---

本文首先整理了高移动性的车载网络的特征并列举了使用机器学习解决车载网络的挑战的动机。其次讨论了使用机器学习进行决策的方法和使用强化学习进行资源管理的方法。最后提出了一些之间的进一步研究的问题。

需求 – 技术 – 已知方法的缺陷 – 可用什么方法 – 此方法在别的地方的应用

介绍

    多年以来全球范围内已开发了多种用于VANET（车辆自组织网络）的通信标准，包括基于IEEE 802.11p的DSRC（专用短程通信，美国用）和ITS-G5（欧洲用）。但他们都存在诸多问题，比如访问延迟、QoS（服务质量）、V2I连接寿命等。为解决802.11p的一些问题，3GPP开始研究LTE的V2X和5G蜂窝系统，其通过部署D2D通信技术以支持蜂窝系统中的V2V传输。通过使用图理论的工具也可以改进车辆网络中的资源分配设计。目前对于车载网络有效且可靠通信的主要设计难点在于：严格且异构的QoS要求和车载环境的高动态性。
  同时，先进的传感器、车载高性能计算和存储设备给我们提供了诸多数据，这些数据包括：车辆运动的信息、道路状况、交通流量、无线环境等。由此可以使用自适应算法来改善网络性能，这是传统通信所忽略的。
  机器学习方法善于发现潜在的模式和规律，并且可以使用异构数据，因此可将其用于处理车辆网络中采集到的数据。但如何利用其解决车辆网络中高移动性带来的一些问题并提供可靠的通信仍存在挑战。
  本文列举了车载网络通信难点，如快速变化的无线信道和网络拓扑，不断变化的车辆密度和对各种车载链路的异构QoS要求。我们提出了一些机器学习的方法解决这些问题，并详细讨论如何通过机器学习来获取和跟踪车辆的环境变化，从而自动进行流量控制、传输调度和路由、网络安全性还有基于强化学习的资源管理等。
  本文结构如下：第二节：车辆网络的挑战和使用机器学习应对挑战的动机；第三节：机器学习的基本概念和主要类别【这部分我会跳过，内容在我上个博文里有】；第四节：如何应用机器学习来应对网络动态性的挑战；第五节：如何应用机器学习来进行决策和资源管理；第六节：一些尚未解决的问题。

车联网的高移动性所带来的挑战

高度的动态变化

  车辆的移动会导致系统严重的动态变化，从而对通信系统的设计造成多种影响。比如过强的时变性和不平稳的信道参数。具体来说，快速变化会导致相干时间减小和信道估计精度下降；信道统计参数的的不平稳也会降低信道估计的精度；与此同时，较高的多普勒扩展会将载波间干扰引入多载波调制方案中，由此给信号检测带来困难；车辆移动性导致网络拓扑的频繁变化会影响信道分配和路由协议的设计。比如在基于集群的车辆网络中，车辆可能会频繁的加入和离开集群，这都需要对集群的稳定性进行进一步的分析。
  车辆密度的变化也会导致很强的动态变化，车辆密度在不同位置和时间会有很大差别，因此需要灵活且健壮的资源管理方法，此方法要能在适应车辆密度变化的同时灵活地调度资源。
  传统上针对无线网络的数学理论都是在静态或低移动的前提下进行的，其通常不适用于快速变化的环境条件。因此重要的是找到可以与快速变化的环境交互的新算法，和对于物理层问题（比如信道估计、信号检测和解码）和上层设计（比如资源分配、链路调度和路由）的最佳策略。

异构性和严格的QoS需求

  车联网中主要的连接类型为V2I和V2V，其中V2I需要频繁访问Internet或远端服务器以进行较大数据量的传输（比如交通信息、娱乐服务、高清地图等），因此带宽密集度更高；而V2V主要以周期性或事件触发的行驶在车之间传递关键信息，所以对延迟和可靠性更敏感（文献[38]指出对1.6k的数据包，欧洲METIS项目要求D2E延迟小于5ms，可靠性高于99.999%）。

机器学习的潜力

  机器学习方法对变化和不确定环境的学习和适应性很强，它不依赖显式的系统参数（比如接收信号功率或信噪比）进行决策。其利用数据也被数据的噪声和污染所限制。
  特别地，强化学习可以与动态环境交互并指定策略以适应策划在网络的QoS要求。用于资源分配问题时，其可通过调整功率或信道分配来适应环境，这里的环境是指链路条件、本地接收到的干扰和车辆运动信息等，而传统的静态数学模型则做不到这些。

机器学习简介

简介以及监督/无监督学习请见这篇博文

强化学习

  强化学习的架构中，进行动作的主体称作agent，其将通过与环境互动来学习选择行为的准则，旨在最大程度的从环境中获取回报。此处将环境建模成MDP（马尔可夫过程），MDP的状态转移概率记为 $p(s',r|s, a)$，回报记为 $r$，其仅由当前状态 $s$决定， $a$为选择的动作。强化学习的目标是找到一个准则，通过该准则采取的行动可以最大化未来折扣回报，记为
$G_t=R_{t+1}+\gamma R_{t+2} + \gamma^2 R_{t+3} = R_{t+1} + \gamma G_{t+1} \tag{1}$其中 $\gamma$为折扣系数， $R_t$是时点t的回报。
  对Q函数的学习是一个强化学习问题的经典解法， $Q(s,a)$在每次采取行动时会对总回报做一个估计，而最优Q函数是在Bellman约束下的最大总体预期回报：
$Q^*(s, a) = \sum_{s',r}p(s'. r|s, a)[r+\gamma max_{a'\in \mathcal{A} }Q^*(s', a')] \tag{2}$
  其中 $\mathcal{A}$是动作集。通常，在Bellman方程的不动点出可通过迭代更新来找到最佳Q函数，并在此之后可通过选择动作来确定最佳策略，如Sarsa和Q-learning算法均提供了得到最佳Q函数的方法。

对动态变化进行学习

（此处与这篇博文-开放式问题-车载网络的动态性学习相关联）
  动态变化会影响网络性能，包括无线信道、网络拓扑、流量动态变化等。表1总结了一些动态性引发的问题及机器学习的解决方法。

支持学习的信道估计

  信道估计对于接收端的设计（均衡、解调、解码等）及发射端的无线资源分配有很大影响，尤其是在多普勒频移严重和信道相干时间短的车辆网络中这种影响更为严重。
  无线信道的统计信息（比如时域和频域的相关性）主要取决于车辆的位置/速度，多径的时延扩散和周围的无线环境。而基站可通过车载网络获得通信信道的历史古迹及发射/接收机的位置等。通过贝叶斯学习和深度学习可以发掘这些历史信息的价值进而对信道统计信息和链路进行估计。
  与传统通过数学模型进行信道估计不同，此方法以数据驱动，通过结合上下文信息来提高信道估计的精度。不会遇到传统信道估计方法中功放的非线性、相位噪声、时间/频率偏移等问题。
  在[56]中，采用贝叶斯学习方法估计稀疏的大规模MIMO信道，其中使用高斯混合分布对信道建模并基于近似信息传递和最大化期望算法来推导估计器。[57]使用DL以隐式轨迹正交频分复用系统中的无线信道，经实验说明其对非线性失真和其他损害（如导频和循环前缀的缺失）的鲁棒性强。此外，对于时序数据，通常可用贝叶斯模型表示（比如隐含马尔可夫模型），这或许可以用来跟踪时变的车载信道。RNN和LSTM可以发掘较长时间尺度的特征，因此可能用来改善信道估计的准确性。

交通流预测

[58]提出了一种基于深度学习的方法预测交通流量使用堆叠式自动编码器来学习交通流的特征并通过贪心法进行分层训练，其隐式地考虑了模型中的空时相关性并取得了出色的性能。[59]中队概率图模型进行了学习，称为泊松依赖网络，它通过队经验性的车辆交通数据集进行描述来预测交通流。此外蜂窝网的连接性和车辆交通流量之间的强相关性可用于泊松回归树来增强预测。

车辆轨迹预测

轨迹预测可用于网络切换、链路调户和路由等。[60]中使用高斯混个模型（GMM）和变分GMM实现概率轨迹预测，使用已发生的运动模式在预测轨迹。也可使用DNN从历史数据中学习隐式特征（如驾驶员意图、交通方式等），此时RNN和LSTM等模型或可带来更好的结果。

支持学习的决策方法

通过数据改进决策的方案可适应网络的动态变化并增强鲁棒性，一些使用机器学习的决策方法如下表所示

基于位置预测的调度和路由

车辆的运动信息除了可以预测行驶路线外，还可以用于协议的设计以提高系统性能。[67]将HMM用于V2I和V2V链路的混合VANET中预测车辆的路线，并基于此路线提出一种有效的路由方案，以有效的选择中继节点进行消息转发和V2I和V2I之间的无缝切换。[68]使用可变阶马尔可夫模型队车辆轨迹进行预测并开发有效的软路由协议。[69]使用递归最小二乘法预测车辆位置进而队大规模的信道进行预测，其促进了VANET中协作数据分发的新型调度策略的开发。

安全性

这里主要防止黑客篡改传网络参数或传感器数据。[73]使用DNN检测车载网络入侵，预处理阶段使用无监督的之心网络初始化参数，之后通过高维数据训练DNN，目标是找出正常数据包和黑客数据包的潜在特征。[74]使用LSTM检测是虚假信息，其通过学习可以对车辆的下一个信息进行预测从而识别虚假信息。

负载平衡和垂直控制 & 拥塞控制 & 无线资源管理

见这篇博文

开放式问题

方法复杂度&分布式表示和多代理&安全性&对毫米波车联网的学习

见这篇博文

Reference

（仅列出博客中表格所列的文献，完整版论文请查阅此处）
[56] C.-K. Wen, S. Jin, K.-K. Wong, J.-C. Chen, and P. Ting, “Channel estimation for massive MIMO using Gaussian-mixture Bayesian learning,” IEEE Trans. Wireless Commun., vol. 14, no. 3, pp. 1356–1368,Mar. 2015.
[57] H. Ye, G. Y. Li, and B.-H. Juang, “Power of deep learning for channel estimation and signal detection in OFDM systems,” IEEE Wireless Commun. Lett., vol. 7, no. 1, pp. 114–117, Feb. 2018.
[58] Y. Lv, Y. Duan, W. Kang, Z. Li, and F.-Y. Wang, “Traffic flow prediction with big data: A deep learning approach,” IEEE Trans. Intell. Transp.Syst., vol. 16, no. 2, pp. 865–873, Apr. 2015.
[59] C. Ide et al., “LTE connectivity and vehicular traffic prediction based on machine learning approaches,” in Proc. IEEE VTC-Fall, Boston, MA, USA, Sep. 2015, pp. 1–5.
[60] J. Wiest, M. Höffken, U. Kreßel, and K. Dietmayer, “Probabilistic trajectory prediction with Gaussian mixture models,” in Proc. Intell. Veh.Symp., Jun. 2012, pp. 141–146
[67] L. Yao, J. Wang, X. Wang, A. Chen, and Y. Wang, “V2X routing in a VANET based on the hidden Markov model,” IEEE Trans. Intell. Transp.Syst., vol. 19, no. 3, pp. 889–899, Mar. 2017.
[68] G. Xue, Y. Luo, J. Yu, and M. Li, “A novel vehicular location prediction based on mobility patterns for routing in urban VANET,” EURASIP J. Wireless Commun. Netw., vol. 2012, no. 1, pp. 222–235, Jul. 2012.
[69] F. Zeng, R. Zhang, X. Cheng, and L. Yang, “Channel prediction based scheduling for data dissemination in VANETs,” IEEE Commun. Lett.,vol. 21, no. 6, pp. 1409–1412, Jun. 2017.
[70] N. Taherkhani and S. Pierre, “Centralized and localized data congestion control strategy for vehicular ad hoc networks using a machine learning clustering algorithm,” IEEE Trans. Intell. Transp. Syst., vol. 17, no. 11, pp. 3275–3285, Nov. 2016.
[71] Z. Li, C. Wang, and C.-J. Jiang, “User association for load balancing in vehicular networks: An online reinforcement learning approach,” IEEE Trans. Intell. Transp. Syst., vol. 18, no. 8, pp. 2217–2228, Aug. 2017.
[72] Y. Xu, L. Li, B.-H. Soong, and C. Li, “Fuzzy Q-learning based vertical handoff control for vehicular heterogeneous wireless network,” in Proc. IEEE ICC, Sydney, NSW, Australia, Jun. 2014, pp. 5653–5658.
[73] M.-J. Kang and J.-W. Kang, “A novel intrusion detection method using deep neural network for in-vehicle network security,” in Proc. IEEE VTC Fall, Nanjing, China, May 2016, pp. 1–5.
[74] A. Taylor, S. Leblanc, and N. Japkowicz, “Anomaly detection in automobile control network data with long short-term memory networks,”in Proc. IEEE Int. Conf. Data Sci. Adv. Anal. (DSAA), Montreal, QC,Canada, Oct. 2016, pp. 130–139.
[75] Q. Zheng, K. Zheng, H. Zhang, and V. C. M. Leung, “Delay-optimal virtualized radio resource scheduling in software-defined vehicular networks via stochastic learning,” IEEE Trans. Veh. Technol., vol. 65, no. 10, pp. 7857–7867, Oct. 2016.
[76] M. A. Salahuddin, A. Al-Fuqaha, and M. Guizani, “Reinforcement learning for resource provisioning in the vehicular cloud,” IEEE Wireless Commun., vol. 23, no. 4, pp. 128–135, Aug. 2016.
[77] Y. He, N. Zhao, and H. Yin, “Integrated networking, caching, and computing for connected vehicles: A deep reinforcement learning approach,” IEEE Trans. Veh. Technol., vol. 67, no. 1, pp. 44–55, Jan. 2018.
[78] R. F. Atallah, C. M. Assi, and J. Y. Yu, “A reinforcement learning technique for optimizing downlink scheduling in an energy-limited vehicular network,” IEEE Trans. Veh. Technol., vol. 66, no. 6, pp. 4592–4601,Jun. 2017.
[79] R. Atallah, C. Assi, and M. Khabbaz, “Deep reinforcement learningbased scheduling for roadside communication networks,” in Proc. IEEE WiOpt, Paris, France, May 2017, pp. 1–8.
[80] H. Ye and G. Y. Li, “Deep reinforcement learning for resource allocation in V2V communications,” in Proc. IEEE ICC, May 2018, pp. 1–5.