01 论文评审
一、基本信息
- 论文题目： 车辆多目标跟车控制的强化学习实现
- 论文作者：张有容
- 指导教师：黄开胜 研究员
二、评审意见
论文内容选择了车辆自动驾驶中自适应巡航控制中跟车控制问题， 引入多种优化目标， 实现了多种算法 。论文选题具有重要的应用价值和理论意义。
论文采用了理论分析、仿真研究以及实际车辆测试等研究手段，取得了以下研究成果：
（1） 提出了一套跟车控制问题的系统模型。 包括有跟车场景、自车分级控制框架以及实验电车动力学模型和能耗模型。
（2） 建立了统一的算法基础框架。 包括有输入输出量、运动学模型、目标函数、约束条件以及评价体系等。 此引入了四种跟车控制算法。实现了多目标跟车控制强化学习算法。
（3） 通过MTALB环境完成了跟车控制算法仿真测试， 对比了四种控制算法在控制效果、抗干扰性能、实时性等方面的性能。
（4）进行了控制算法的实车验证。验证了算法控制效果和应用特性。
论文书写清晰，叙述流畅，公式正确，图表规范。实验设计合理，结果分析充分。论文工作表明了作者掌握了本领域坚实的基础理论，具备了从事相关领域的研究工作的能力。论文达到了工学硕士论文的要求，同意进行硕士论文答辩。
三、修改意见
- 论文在测试场景上过于简单， 仅涉及到直道平坦路面的控制。 因此控制模型输入较少，由此所得到的一些性能比较结论说服力不够强。
- 在设计基于神经网络的强化学习算法中， 对于网络模型的选择和优化涉及较少。 比如在网络的结构选择、训练数据和参数、网络泛化特性等方面没有讨论。 这使得后面所得到对比数据相对的说服力不够。
- P32页中， 倒数第二阶： 本文将位置控制换设置为比例控制， 但实际框图中给出的是 比例积分控制。
第一章
- 章节：摘要， Page: I。 倒数第三段。 “… 牵扯按照测试工况的速度行驶， 自车动态跟随, …” ： 这里的自车是指 跟车？ 建议统一命名。 Abstract: "self vehicle.
这个问题在论文中，多出事宜“控制自车” 标称当前的跟车。所以上面的表述没有问题。
2. 论文中突出强化学习 ： 跟车控制有类似的控制表现和更少的计算负担， 突出了它的计算复杂度低， 黄最优控制算法比较低， 值得商榷。
第二章
-
第二章中： 建立的跟车场景仅限于长直道，纵向控制， 跟车场景显得比较简单。 这使得论文中评价算法性能方面显得比较片面。
-
关于 d d e s = d 0 + τ 0 v f d_{des} = d_0 + \tau _0 v_f ddes=d0+τ0vf 选取的参数。 d 0 = 1.98 m , τ 0 = 1.36 s d_0 = 1.98m,\,\,\,\tau _0 = 1.36s d0=1.98m,τ0=1.36s 。 这是实际物理量纲。 是否这个因子对于后面各种控制算法性能有影响？ 影响大多？
-
是否可以在输入两种，增加历史信息。 这其中也包括有前车不可控信息的历史建模。 换句话说，它的历史信息中包括有前车的 加速度，速度平均值、方差、过渡过程。 这些信息在一定程度上起到了对于环境建模的累计。
- 对于前车状态变化的适应预测能力；
- 对于下层控制动力学特性的协同控制能力；
-
加速度模型可否增加一个纯延迟环节？
从测量的实际曲线上来看，总觉得有一个前面 0.2s 左右的 延迟。 这个延迟环境加入预计可以使得预测模型更加精确。
▲ 图1.3.1 第二章论文加速度动态特性
- 2.3.2.1 中关于电动汽车功耗模型中的参数是如何确定的？ 回答： 在表格 2.1 中给出了车辆能耗模型的主要参数。
- 神经网络的规模， 训练数据集集合， 数据泛化等对于影响。
- 抗干扰性能的定义：？ CEI。
第三章
-
算法基础框架： 满足： 系统具有马尔科夫特性； 目标函数具有可分割性。 对于可分割性的论述是指目标函数的各个指标之间是 正交的？ 论文中是指各时间间隔内的离散化设计。 有点疑问。
-
P32页中， 倒数第二阶： 本文将位置控制换设置为比例控制， 但实际框图中给出的是 比例积分控制。
-
模型的选择：
可以考虑使用 动态神经网络。 即内部有状态反馈的网络。
四、评价表格
| 评价方面 | 评价结果 |
|---|---|
| 论文选题的理论意义或实用价值 | 【×】优 【 】良 中 差 |
| 文献综述水平 | 【×】优 【 】良 中 差 |
| 论文新见解 | 【×】优 【 】良 中 差 |
| 论文所反映的基础理论和专业知识水平 | 【×】优 【 】良 中 差 |
| 论文总结与写作水平 | 【×】优 【 】良 中 差 |
| 论文是否达到硕士学位学术水平？ | 【×】是 【 】否 |
论文内容
一、论文信息
1. 电机的万有特性测试
在 P18页，提出了电机的 万有特性测试， 这是一个挺有意思的说法。
- P32: 综合目标函数最优串激PID 参数. 这部分是如何整定的？
- MPC 中的滚动优化思想是什么？
二、论文资源
- 1989， Watkins, Q-Learing:
- 论文中的缩略语
