庞特里亚金最小值原理PMP

1. 庞特里亚金最小值原理PMP定义

庞特里亚金最小值原理（Pontryagin Minimum Principle, PMP）是最优控制理论中的一个基本定理，提供了寻找最优控制策略的必要条件。此原理适用于状态或输入控制具有限制条件的情况。

PMP的核心在于通过构造哈密顿函数（Hamiltonian function），该函数结合了系统状态、控制输入及随时间变化的拉格朗日乘数向量。哈密顿函数的形式如下：

$H(x,u,\lambda ,t)=L(x,u,t)+\lambda ^{T}f(x,u,t)$

其中：

$x$ 是系统的状态向量，
$u$ 是控制输入向量，
$f(x,u,t)$ 描述了状态的动态行为，即状态导数 $\dot{x}$ ，
$L(x,u,t)$ 是拉格朗日量，通常代表成本函数或性能指标，
$\lambda$ 是拉格朗日乘数向量，也称为协态（costate）。

根据PMP，最优控制策略必须满足以下条件：

最小化哈密顿函数：对于所有可能的控制输入 $u$ 和对应的时间 $t$ ，哈密顿函数必须被最小化。
协态动态：协态向量 $\lambda$ 随时间的演化由以下方程给出： $\dot{\lambda }=-\frac{\partial H}{\partial x}$
状态方程：系统状态 xx 的演化遵循状态方程： $\dot{x}=\frac{\partial H}{\partial \lambda x}$
边界条件：如果最终状态是自由的，则协态向量 $\lambda$ 在最终时间 $t_{f}$ 必须满足横截条件： $H(x_{f},u_{f},\lambda _{f},t_{f})=0$ 如果最终状态是固定的，那么协态向量 $\lambda$ 在最终时间 $t_{f}$ 应该满足： $\lambda (t_{f})=\frac{\partial \phi }{\partial x}(x_{f})$ 其中 $\phi (x_{f},t_{f})$ 是终端成本函数。
控制输入选择：在最小化哈密顿函数时，控制输入 $u$ 还必须满足系统的控制约束。

PMP提供了一种在给定约束条件下寻找最优控制策略的框架。通过求解上述方程组，可以得到最优控制序列 $u^{*}$ ，使得从初始状态 $x_{0}$ 开始，性能指标 $J$ 达到最小。性能指标 $J$ 通常定义为：

扫描二维码关注公众号，回复： 17507103 查看本文章

$J=\phi (x_{f},t_{f})+\int_{t_{f}}^{t_{0}}L(x,u,t)dt$

2. PMP的数学表述

2.1 Hamiltonian函数定义

Hamiltonian函数 $H$ 是PMP中的核心概念，它通常表示为系统状态 $x$ ，控制输入 $u$ ，以及共轭态向量 $\lambda$ 的函数。在最优化问题中，Hamiltonian的目的是将拉格朗日量与共轭态向量结合，以便找到系统的最优控制策略。

$H(x,u,\lambda ,t)=L(x,u,t)+<\lambda ,f(x,u,t)>$

这里 $L$ 是拉格朗日量， $f(x,u,t)$ 是系统的状态转移函数， $<.,.>$ 表示向量的点积， $t$ 是时间变量。

2.2 PMP的必要条件

庞特里亚金最小值原理（PMP）指出，在最优控制问题中，存在一个最优控制 $u^{*}$ 和相应的状态 $x^{*}$ 以及共轭态 $\lambda ^{*}$ ，它们满足以下条件：

状态方程：状态随时间的演化由下面的微分方程给出。 $\dot{x}=f(x,u^{*},t)$
共轭态方程：共轭态随时间的演化，其导数的负值是Hamiltonian函数对状态的偏导数。 $\dot{\lambda }=-\frac{\partial H}{\partial x}$
控制最小化：在每一时刻，最优控制 $u^{*}$ 是使得Hamiltonian函数在当前状态和共轭态下的值最小的控制输入。 $u^{*}=argmin_{u\in U}H(x^{*},u,\lambda ^{*},t)$
边界条件：根据问题的不同，边界条件可能涉及初始或最终状态以及时间的约束。

2.3 特定情况下的PMP

在特定情况下，例如当控制输入 $u$ 受到限制时，PMP的形式可能会有所变化。例如，如果控制输入 $u$ 必须满足某些条件 $g(u,t)\leq 0$ ，则最小化条件变为：

$u^{*}=argmin_{u\in U,g(u,t)\leq 0}H(x^{*},u,\lambda ^{*},t)$

这意味着最优控制 $u^{*}$ 不仅要最小化Hamiltonian函数，还要满足给定的约束条件。

2.4 数值方法的应用

对于非线性系统或具有复杂约束的PMP问题，通常需要借助数值方法进行求解。常见的数值方法包括：

直接法：直接对状态和控制变量进行离散化和优化。
间接法：首先求解Hamiltonian系统的微分方程，然后基于解的分析来寻找最优策略。
伪谱方法：利用傅里叶级数和伪谱技术来近似连续的控制问题。

数值方法允许我们处理更复杂的系统动态和约束，但需要精心设计算法以确保稳定性和收敛性。

3. 哈密顿函数与协同状态

3.1 哈密顿函数的定义与作用

哈密顿函数 $H$ 是庞特里亚金最小值原理中的核心概念，它将系统状态 $X$ 、控制输入 $U$ 和时间 $t$ 结合起来，通过拉格朗日乘子 $\lambda$ 与状态导数 $f(X,U,t)$ 的线性组合来表达。哈密顿函数的作用在于构造一个性能指标，使得在最优控制条件下，该指标被最小化。

3.2 协同状态的动态与意义

协同状态 $\lambda$ 的动态方程 $\dot{\lambda }=-\frac{\partial H}{\partial X}$ 反映了在最优控制过程中，状态如何随时间演化的额外条件。协同状态可以理解为状态的“成本”，它随时间的演化方向与状态对哈密顿函数的贡献成反比。

3.3 哈密顿函数的求解与应用

求解哈密顿函数的过程涉及到对系统动态的深入理解以及对目标函数的明确设定。在实际应用中，哈密顿函数通常与控制约束条件相结合，通过求解 $\frac{\partial H}{\partial U}$ 来获得最优控制输入 $U^{*}$ 。此外，哈密顿函数的极值条件也是设计最优控制策略的关键。

3.4 哈密顿函数在最优控制问题中的具体实例

在特定的最优控制问题中，如二阶系统的振动抑制问题，哈密顿函数可以通过具体的物理模型和性能指标构建，并求解得到最优控制律。例如，在最小化能量消耗的同时，实现系统状态的快速稳定。这类问题通常涉及到复杂的微分方程求解，可能需要数值方法或者更高级的数学工具来处理。

3.5 庞特里亚金最小值原理与哈密顿函数的关系

庞特里亚金最小值原理提供了一种必要条件，即最优控制策略必须使得哈密顿函数关于控制输入 UU 的值最小。这一原理是解决最优控制问题的理论基础，而哈密顿函数则是实现该原理的数学工具。两者相结合，为解决各种最优控制问题提供了一种通用的方法论。

4. 基于PMP的PHEV能量管理

4.1 背景设定

系统状态：车辆速度 $v(t)$ 和剩余电量 $e(t)$ 。
控制输入：车辆的功率输入 $u(t)$ ，表示为电机的输入功率，正值加速，负值减速。
目标函数：最小化能量消耗和到达目的地的时间， $J=\int_{0}^{T}(u(t)+\lambda v(t))dt$ ，其中 $\lambda$ 是与时间相关的权重系数。

4.2 状态方程

$\dot{v(t)}=\frac{u(t)}{m}$

$\dot{e(t)}=-\frac{u(t)}{\eta }$

其中 $m$ 是车辆质量， $\eta$ 是电池效率。

4.3 哈密顿函数

$H(v,ep_{v},p_{e},u)=u+p_{v}(\frac{u}{m})+p_{e}(-\frac{u}{\eta })$

根据PMP， $\dot{p_{v}}=-\frac{\partial H}{\partial v}$ ， $\dot{p_{e}}=-\frac{\partial H}{\partial e}$ 解得： $\dot{p_{v}}=-\frac{p_{v}u}{m}+p_{e}\frac{u}{\eta }$ ， $\dot{p_{e}}=0$ （因为 $e$ 对 $H$ 没有直接影响）

4.4 最优控制律

由 $\frac{\partial H}{\partial u}=0$ 可得最优控制律： $u^{*}=-\frac{mp_{v}}{2}$

4.5 C++代码

#include <iostream>
#include <vector>
#include <cmath>

// 定义车辆参数
const double m = 1000; // 车辆质量
const double eta = 0.9; // 电池效率

// 定义时间步长和仿真时间
const double dt = 0.01;
const int T = 1000; // 总时间

// 定义初始状态和协态
double v = 0; // 初始速度
double e = 80; // 初始电量
double p_v = 0; // 速度协态
double p_e = 0; // 电量协态

// 仿真循环
for (int t = 0; t < T; ++t) {
    double u = -m * p_v / 2; // 最优控制律

    // 更新状态和协态
    v += dt * (u / m);
    e -= dt * (abs(u) / eta);
    p_v -= dt * (p_v * u / m - p_e * u / eta);

    // 输出状态信息
    std::cout << "Time: " << t * dt << ", Velocity: " << v << ", Energy: " << e << std::endl;
}

int main() {
    // 运行仿真
    std::cout << "Starting simulation..." << std::endl;
    RunSimulation();
    std::cout << "Simulation finished." << std::endl;
    return 0;
}