应用数学课堂笔记——常微分方程数值解

此为应用数学第5次课。

常微分方程数值方法

差分法、有限元法、谱方法等。这里只介绍显式欧拉法。

欧拉法及其变种

问题描述：在 $x \in [a,b]$求解 $y$，满足
$y'= f(x,y), y(x_0)=y_0$

将 $[a,b]$等分成 $N$份，每份长度为 $h$， $x_0=a, x_i=a+ih$。令 $y(x_i)$为 $x_i$处的真实值， $y_i$为拟合值。

前向欧拉法

由泰勒展开，有
$y'(x_i) = \frac{y( x_i+\Delta x ) - y(x_i)}{\Delta x} + o(\Delta x)$

近似得到，
$y'(x_i) \approx \frac{y(x_i+h)-y(x_i)}{h}$

因为 $y'(x_i) = f(x_i, y(x_i))$，所以有
$y(x_{i+1}) - y(x_i) \approx h f(x_i, y(x_i))$

从而得到前向欧拉法，
$y_{i+1} = y_i + h f(x_i, y_i)$

后向欧拉法

类似的，有
$y'(x_{i+1}) \approx \frac{y(x_{i+1})-y(x_i)}{h}$

由于 $y'(x_{i+1}) = f(x_{i+1}, y_{i+1})$，得到
$y_{i+1} = y_i + h f(x_{i+1}, y_{i+1})$

但由于 $y_{i+1}$不预先知道，所以需要方程解出 $y_{i+1}$，为隐式欧拉法了。可以使用预估校正法来利用后向欧拉的思想。

预估校正法

先用前向欧拉法得到对 $y_{i+1}$的估计 $\bar{y}_{i+1}$，即
$\bar{y}_{i+1} = y_i + h f(x_i, y_i)$

再用后向欧拉法进行校正
$y_{i+1} = y_i + h f(x_{i+1}, \bar{y}_{i+1})$

梯形法

综合一下前向欧拉和后向欧拉，可以得到一个平均主义的变种：
$y_{i+1} = y_i + \frac{h}{2} [ f(x_i, y_i) + f(x_{i+1}, y_{i+1}) ]$

当然这仍然是一种隐式欧拉法。

在预估校正法中也可以采用类似的思想，有
$y_{i+1} = y_i + \frac{h}{2} [ f(x_i, y_i) + f(x_{i+1}, \bar{y}_{i+1}) ]$

2阶龙格库塔

2阶龙格库塔如下：
$\begin{aligned} y_{i+1} &= y_i + h[\frac{1}{2} k_1 + \frac{1}{2} k_2] \\ k_1 &= f(x_i, y_i) \\ k_2 &= f(x_i, y_i + h k_1) \end{aligned}$

可以看到，2阶龙格库塔和预估校正的梯形法非常类似，它们都使用了 $\bar{y}_{i+1}$处的梯度作为估计，只不过唯一的区别在于，预估校正法将这个梯度作用在 $x_{i+1}$处作为后向估计，而2阶龙格库塔将它作为对 $x_i$处梯度的估计。

4阶龙格库塔

这是最常用的龙格库塔法（因为如果阶数再高，还不如对 $h$取小一点）。

$\begin{aligned} y_{i+1} &= y_i + h [\frac{1}{6} k_1 + \frac{1}{3} k_2 + \frac{1}{3} k_3 + \frac{1}{6} k_4] \\ k_1 &= f(x_i, y_i) \\ k_2 &= f(x_i + h/2, y_i + h/2 k_1) \\ k_3 &= f(x_i + h/2, y_i + h/2 k_2) \\ k_4 &= f(x_i + h, y_i + h k_3) \end{aligned}$

当然这里的系数也是可以变的，只要最终的泰勒展开能够消掉只剩高阶微量就可以了。比如上课提到的GiU公式，就是另一套系数下的龙格库塔。

n阶龙格库塔法

龙格库塔可以继续细分到很高阶，它的格式为
$\begin{aligned} y_{n+1} &= y_n + h \sum_{i=0}^{L} \lambda_i k_i, \sum \lambda_i = 1 \\ k_1 &= f(x_n, y_n) \\ k_2 &= f(x_n + c_2 h, y_n + c_2 h k_1) \\ k_3 &= f(x_n + c_3 h, y_n + c_3 h (a_{31} k_1 + a_{32} k_2)) \\ & \cdots \\ k_i &= f(x_n + c_i h, y_n + c_i h \sum_{j=1}^{i-1} a_{ij} k_j) \end{aligned}$

但正如之前所述，太高阶意义不大，因此还是4阶最常用。

精度

定义：设 $y(x)$是精确解，若存在最大整数 $p$，使得 $|y_i-y(x_i)| = o(h^{p+1})$，则称该方法是 $p$阶精度的。

前向欧拉法

$\begin{aligned} |y(x_{i+1}) - y_{i+1}| &= |y(x_{i+1}) - y(x_i) - h f(x_i, y(x_i))| \\ &= |y(x_i) + h y'(x_i) + \frac{h^2}{2} y''(x_i) + o(h^3) - y(x_i) - h y'(x_i)| \\ &= |\frac{h^2}{2} y''(x_i) + o(h^3)| = o(h^2) \end{aligned}$

所以前向欧拉为一阶精度。

后向欧拉法

类似的，后向欧拉法也是一阶精度。

梯形法

$\begin{aligned} |y(x_{i+1}) - y_{i+1}| &= |y(x_{i+1}) - y(x_i) - \frac{h}{2} [ f(x_i, y(x_i)) + f(x_{i+1}, y(x_{i+1})] | \\ &= |y(x_i) + h y'(x_i) + \frac{h^2}{2} y''(x_i) + \frac{h^3}{6} y'''(x_i) + o(h^4) - y(x_i) - \frac{h}{2} [ y'(x_i) + y'(x_{i+1}) ]| \\ &= |h y'(x_i) + \frac{h^2}{2} y''(x_i) + \frac{h^3}{6} y'''(x_i) + o(h^4) - \frac{h}{2} [ y'(x_i) + y'(x_i) + h y''(x_i) + \frac{h^2}{2} y'''(x_i) + o(h^4) ]| \\ &= |-\frac{1}{12} h^3 y'''(x_i) + o(h^4) | = o(h^3) \end{aligned}$

所以梯形法为二阶精度。

龙格库塔法

按照Butcher的结果，对于阶数为 $r$的龙格库塔法，当 $r=1,2,3,4$时，精度为 $r$；当 $r=5,6,7$时，精度为 $r-1$；当 $r=8,9$时，精度为 $r-2$；之后的精度小于 $r-2$。证明略。

收敛性证明

引理

如果 $|\xi_{i+1}| \le A|\xi_i| + B$，则 $|\xi_{i+1}| \le A^k |\xi_0| + \frac{A^k-1}{A-1} B$， $A \ne 1$。（ $A=1$时更简单，略）。

证明非常简单，就是一个等比数列求和。

收敛性定理

$y_{n+1} = y_n + h \phi (x_n, y_n, h)$，如果 $y$是精确解， $y_i$是数值解，且存在 $c_0$，使得局部截断误差
$|T_{i+1}| = | y(x_{i+1}) - [ y(x_i) + h \phi (x_i, y(x_i), h) ] | \le c_0 h^{p+1}$

且存在 $h_0$，使得
$\max_{(x,y) \in D_{\delta}} \left| \frac{\partial p(x,y,h)}{\partial y} \right| \le L$

其中
$D_{\delta} = \{ (x,y) | x \in [a,b], y \in [y(x)-\delta, y(x) + \delta] \}$

则，当 $h < \min{h_0, (\delta/c_0)^{1/p}}$时，有最大截断误差
$E(h) = \max \{ y(x_{i+1}) - y_{i+1} \} \le c h^p$

其中， $c = \frac{c_0}{L} \left[ e^{L(b-a)} - 1 \right]$

证明

$\begin{aligned} y(x_{i+1}) &= y(x_i) + h \phi (x_i, y(x_i), h) + T_{i+1} \\ y_{i+1} &= y_i + h \phi (x_i, y_i, h) \\ y(x_{i+1}) - y_{i+1} &= y(x_i) - y_i + h [ \phi (x_i, y(x_i), h) - \phi (x_i, y_i, h) ] + T_{i+1} \end{aligned}$

数学归纳法。当 $i=0$， $| y(x_0) - y_0 | = 0 \le c h^p$。假设 $i$时成立， $| y(x_i) - y_i| \le c h^p$，则 $i+1$时，
$\begin{aligned} | y(x_{i+1}) - y_{i+1} | & \le | y(x_i) - y_i | + h | \phi (x_i, y(x_i), h) - \phi (x_i, y_i, h) | + | T_{i+1} | \\ & \le | y(x_i) - y_i | + h \left| \frac{\partial \phi}{\partial y} (y(x_i) - y_i) + o[(y(x_i)-y_i)^3] \right| + c_0 h^{p+1} \\ & \le (L h + 1) | y(x_i) - y_i | + c_0 h^{p+1} + o(h^{2p+1}) \end{aligned}$

稳定性分析

对于 $y'=f(x,y)$，令 $\{y_i\}$是数值解， $\{\zeta_i\}$是如下问题的解：
$\zeta_{i+1} = \zeta_i + h[\phi(x_i, \zeta_i, h) + \delta_{i+1}], \\ \zeta_0 = \zeta(x_0) + \delta_0$

若存在 $C, \epsilon_0, h_0$，使得当 $\epsilon \in (0, \epsilon_0), h \in (0, h_0), |\delta_i| < \epsilon$，对于 $\forall i$，都有 $|\zeta_i - y_i| < C \epsilon$，则称该方法是稳定的。

说人话，按照我个人的理解，收敛性证明是在看 $y_i$能不能逼近 $y(x_i)$，而稳定性分析则在看我们能不能稳定地计算出 $y_i$。我们给每次的 $y_i$增加上一个不大于 $\epsilon$的小误差，然后看这样算出来的 $\zeta_i$是否和 $y_i$之间的误差仍在常数倍误差内。

以下我们以 $y' = \lambda y$，即 $y=e^{\lambda x}$为例。

前向欧拉法

$y_{n+1} = y_n + h f(x_n, y_n) = y_n + h \lambda y_n = (1+h\lambda) y_n$
$\zeta_{n+1} = (1+h\lambda) \zeta_n$

令 $\epsilon_n = y_n - \zeta_n$，则
$\epsilon_n = (1+h\lambda) \epsilon_{n-1} = \cdots = (1+h\lambda)^n \epsilon_0$

若 $|1+h\lambda|<1$，则稳定；否则不稳定。将其绘制到 $\lambda$- $h$复平面上（注意这里以 $\lambda h$整体的复平面，而不是 $x$轴为 $\lambda$， $y$轴为 $h$），为一个圆心为 $(-1, 0)$，半径为 $1$的圆内部。

梯形法

$y_{n+1} = y_n + \frac{h}{2} [ f(x_n, y_n) + f(x_{n+1}, y_{n+1}) ] = y_n + \frac{h}{2} [ \lambda y_n + \lambda y_{n+1} ]$

即， $(1 - \frac{\lambda h}{2}) y_{n+1} = (1 + \frac{\lambda h}{2}) y_n$

即，
$\epsilon_{n+1} = \left| \frac{1+\frac{\lambda h}{2}}{1-\frac{\lambda h}{2}} \right| \epsilon_n$

若 $| (1+\frac{\lambda h}{2}) / (1-\frac{\lambda h}{2}) | < 1$，则稳定；否则不稳定。将其绘制到 $\lambda$- $h$复平面上，为整个第二和第三象限。

后向欧拉法

$y_{n+1} = y_n + h f(x_n, y_n) = y_n + h \lambda y_{n+1}$

即， $\epsilon_{n+1} = \left| \frac{1}{1-\lambda h} \right| \epsilon_n$

若 $| 1/(1-\lambda h) | < 1$，则稳定；否则不稳定。将其绘制到 $\lambda$- $h$复平面上，为圆心为 $(1,0)$，半径为 $1$的圆外部。