최소제곱 문제 및 비선형 최적화

0 서문

여기 에서 재인쇄되었으며 , 사소한 오류가 수정되었습니다.

1. 최소제곱 문제

SLAM에서 최적 상태 추정 문제를 풀 때 일반적으로 두 개의 변수를 얻게 되는데, 하나는 센서에서 얻은 실제 관측값 z입니다. \ $z$ , 하나는 현재 추정된 상태량과 관측 모델을 기반으로 계산$h\left(x\right)$ . 최적 상태 추정 문제를 풀 때 우리는 일반적으로 예측값과 관측값으로부터 계산된 잔차의 제곱을 최소화하려고 노력합니다(제곱은 부호의 영향을 통합하는 데 사용됩니다). 즉, 다음과 같은 최소 제곱을 풀려고 합니다. 문제:

$${엑스}^{*}=아르g\underset{엑스}{}||z\_-h\left(x\right)|{|}^2$$
관찰 모델이 선형 모델인 경우 위 방정식은 선형 최소 제곱 문제로 변환됩니다.

$${\mathbf{x}}^{\ast }=\arg \underset{\mathbf{x}}{\min }||\mathbf{z}-\mathbf{H}\mathbf{x}|{|}^2$$
对于线性最小二乘问题，我们可以直接求闭式解：${\mathbf{x}}^{\ast }=-({\mathbf{H}}^T\mathbf{H}{)}^{-1}{\mathbf{H}}^T\mathbf{z}$ 这里不进行赘述。

实际的问题中，我们通常要最小化不止一个残差，不同残差通常会按其重要性（不确定性）分配一个相应的权重系数，且观测模型也通常是非线性的，即求解以下问题：

$$\begin{array}{rl}{이자형}_{}\left(x\right)& ={지}_{}-{시간}_{}\left(x\right)나=1,2,...,N\\ ||{이자}_{}\left(x\right)|{|}_{{에스}_{}}^{}& ={이자형}_{나}^{}{에스}_{}{이자형}_{}\\ {엑스}^{*}& =아르g\underset{엑스}{}에프\left(엑스\right)\\ & =아르g\underset{엑스}{}\underset{나}{}||{이자}_{}\left(x\right)|{|}_{{에스}_{}}^{}\end{array}$$
우리는 상태량 ${엑스}^{¡}$ , 손실 함수$F\left(x\right)$ 는 국소 최솟값을 얻습니다.

특정 문제를 풀기 전에 먼저 $F\left(x\right)$ 의 속성에 대해 2차 테일러 전개를 수행합니다.

$$에프(엑스+\Delta x)=에프\left(엑스\right)+J\Delta x+\frac{}{2}\Delta x{\_}^{T}H\Delta x+O(||\Delta x|{|}^3)$$
고차 나머지를 무시하면 이차 함수는 다음과 같은 속성을 갖습니다.

x 지점에 있는 경우 ${엑스}^{*}$ 에서 도함수는$0$ 이면 이 점은 안정적인 점이며 헤세 행렬의 양의 명확성에 따라 다른 속성을 갖습니다.

• 만약 $H$ 는 양의 정부호 행렬이면$에프\left({엑스}^{*}\right)$는 지역 최소값
• 만약 $H$ 는 음의 정부호 행렬이면$에프\left({엑스}^{*}\right)$는 지역 최대값
• 만약 $H$ 가 부정 행렬이면$에프\left({엑스}^{*}\right)$는 안장점

실제 과정에서는 일반적으로 $F\left(x\right)$ 는 상대적으로 복잡하기 때문에 직접 도함수를 0으로 만든 후 이 점을 찾을 수 있는 방법이 없기 때문에 손실함수가 x \boldsymbol에 따라 변하도록 하강하는 방향을 찾는 반복적 방법이 흔히 사용된다. {x$x$ 의 반복은 x \boldsymbol{x}까지 점차적으로 감소합니다.$x는$ x ✽ \boldsymbol{x}^*로 수렴합니다${엑스}^{*}$ . 다음은 일반적으로 사용되는 몇 가지 반복 방법입니다.

2. 반복하강법

위에서 언급했듯이 x ​​\boldsymbol{x}를 찾아야 합니다.$x$ 의 반복량은$F\left(x\right)$ 가 감소합니다. 이 프로세스는 두 단계로 구분됩니다.

F ( x ) \boldsymbol{F(x)} 찾기$F\left(x\right)$ 의 하강 방향 , 이 방향으로 단위 벡터 d 를 생성합니다$d는$
이 방향의$\alpha$
반복 후$엑스+\alpha d$ 에 해당하는 함수 값은 1차 테일러 확장(단계 크기가 충분히 작은 경우)으로 근사화될 수 있습니다.

$$에프(엑스+\alpha d)=에프\left(엑스\right)+\alpha Jd$$ 따라서 F ( x ) F(x) 를
유지하는 것을 찾는 것은 어렵지 않습니다.$F(x)$ 是下降的，只需要保证 $\mathbf{Jd}<0$。以下几种方法都是以不同思路在寻找一个合适的方向进行迭代。

3.最速下降法

基于上一部分，我们知道变化量为 $\alpha \mathbf{Jd}$，其中 $\mathbf{Jd}=||\mathbf{J}||\cos \theta$，$\theta$ 为梯度$\mathbf{J}$ 和 $\mathbf{d}$ 的夹角。当 $\theta =-\pi$ 时，$\mathbf{Jd}=-||\mathbf{J}||$ 取得最小值，此时方向向量为：

$$디=\frac{-J^{}}{||J||}$$
따라서 기울기 $J$ 의 음의 방향은 F ( x ) F(\boldsymbol{x}) 를만들 수 있습니다.$F\left(x\right)$ 이지만, 실제 프로세스에서는 이 방법을 일반적으로 iteration 초기에만 사용하며, 최적값에 가까워지면 천천히 진동하며 수렴하게 됩니다.

4.뉴턴의 방법

F ( x ) F(\boldsymbol{x}) 의 경우$F\left(x\right)$ 의 2차 테일러 전개는

$$에프(엑스+\Delta x)=에프\left(엑스\right)+J\Delta x+\frac{}{2}\Delta x{\_}^{T}H\Delta x$$
우리가 집중하는 것은$\Delta x$使得$J\Delta x+\frac{}{2}\Delta x{\_}^{T}H\Delta x$는 가장 작으므로 다음과 같이 유도할 수 있습니다.

$$\begin{array}{rl}\frac{\partial (J\Delta x+\frac{}{2}\Delta x{\_}^{T}H\Delta x}{\partial \Delta x}& ={제이}^{티}+H\Delta x=0\\ \Rightarrow \Delta & =-H^{-1J}{\_}^{}\end{array}$$
H \boldsymbol{H} 일 때$H$ 는 양의 정부호 행렬이고 현재$x가$ 최적 지점에 가까울$\Delta x\_=-H^{-1J}{\_}^{T는}$ 함수가 국소 최소값을 얻도록 만들 수 있습니다. 그러나 단점은 잔차의 헤세 함수를 찾기가 일반적으로 어렵다는 것입니다.

5. 감쇠방식

뉴턴의 방법을 기반으로 각 반복이 너무 공격적이지 않도록 제어하기 위해 아래와 같이 손실 함수에 페널티 항을 추가할 수 있습니다.

$$아르g\underset{\Delta x\_}{}\left\{에프\left(x\right)+J\Delta x+\frac{}{2}\Delta x{\_}^{T}H\Delta x+\frac{}{2}m\left(\Delta x{)}^T\right(\Delta x)\right\}$$Δ x \Delta\boldsymbol{x}를
선택할 때$\Delta x$ 가 너무 크면 손실 함수도 커지며 증가 폭은$\mu$ 가 결정되므로 각 반복의 양$\Delta x의$ 크기입니다 . 또한 Δ x \Delta\boldsymbol{x}의 오른쪽 부분에도 있습니다.$\Delta x$ 의 미분은 다음$과\; 같습니다\; .$

$$\begin{array}{rl}{제이}^{티}+H\Delta x+mDx\_\_& =0\\ (ㅎ+\mu I)\Delta x=-J^{}& \end{array}$$
이 아이디어는 나중에 LM 방식을 소개할 때도 사용될 것입니다.

6.가우스-뉴턴(GN)법

이전 배열에서 우리가 실제로 풀었던 것은 일련의 잔차의 합이었는데, 단일 잔차의 야코비안을 구하는 것이 상대적으로 간단하므로 다음 방법에서는 각 잔차의 변화에 ​​중점을 둡니다 . 위의 비선형 최소제곱 문제의 각 잔차를 벡터 형식으로 작성합니다.

$$에프\left(엑스\right)=이자형\left(x\right)=\left[\begin{array}{c}{이자형}_{}\left(x\right)\\ {이자형}_{}\left(x\right)\\ ...\\ {이자형}_{}(x\end{array}\right]$$

e ( x ) \ $e\left(x\right)$의 테일러 전개는

$$그리고(x+\Delta x)=그리고\left(x\right)+J\Delta x$$
위 식에서$J$ 는 잔차 행렬$e\left(x\right)$대 상태량의 야코비 행렬입니다.

원래 선형 최소 제곱 문제에는 각 잔차에 대한 가중치 행렬 Σ \boldsymbol{\Sigma} 도 있다는 점에 유의하세요.$\Sigma$ . 이 경우${이자형}_{}\left(x\right)=\sqrt{{에스}_{}}{이자형}_{}\left(x\right)$ 이면 충분합니다. 따라서 다음 수식에서는$\Sigma$ 의 영향 .

이 형식에서 $e\left(x\right)$의 테일러 전개는

$$\begin{array}{rl}||e(x+\Delta x)|{|}^2& =그리고(x+\Delta x{)}^{티}(x\_+\Delta x)\\ & =\left(그리고\right(x)+J\Delta x{)}^{티}(이자형\left(x\right)+J\Delta x)\\ & =그리고\left(x{)}^{티}\right(x)\_+\Delta x{\_}^{티제이}{\_}^{티}(x)\_+그리고(x{)}^{T}J\Delta x+\Delta x{\_}^{티제이}{\_}^{T}J\Delta \end{array}$$
위 공식에서 다음을 참고하세요: $e\left(x\right)$ 는 1차원이므로$\Delta x{\_}^{티제이}{\_}^{티}\left(x\right)\_=그리고(x{)}^{T}J\Delta x$이므로 다음과 같이 단순화합니다.

$$\begin{array}{rl}에프(엑스+\Delta x)& =그리고\left(x{)}^{티}\right(x)\_+2e(x)\_{}^T\mathbf{J}\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}\\ & =F(\mathbf{x})+2\mathbf{e}(\mathbf{x}{)}^T\mathbf{J}\Delta \mathbf{x}+\Delta {\mathbf{x}}^T{\mathbf{J}}^T\mathbf{J}\Delta \mathbf{x}\end{array}$$
通过这种方式，我们同样将其近似一个二次函数，并且和我们之前展开的结果比较，不难发现在这里我们实际上是用 ${\mathbf{J}}^T\mathbf{e}$ 来近似 Jacobian 矩阵，用 ${\mathbf{J}}^T\mathbf{J}$ 来近似 Hessian 矩阵。因此，当 $\mathbf{J}$ 满秩时，我们可以保证在上式导数为 0 的地方可以确保函数取得局部最小值。同样，在上式右侧部分对 $\Delta \mathbf{x}$ 求导并使其为 0 有：

$$\begin{array}{rl}{제이}^{티}\left(x\right)\_+{제이}^{T}J\Delta x=0& \\ \Rightarrow {제이}^{T}J\Delta x& =-J^{티}\left(x\right)\_\\ \Rightarrow H\Delta & =\end{array}$$
위 공식에서 $시간={제이}^{티제이},\_비=-J^{테}.\_$_ 이러한 방식으로 Gauss-Newton 방법의 풀이 과정을 얻습니다.

• 상태값 \boldsymbol{J} 에 대해 잔차 행렬의 야코비 행렬 J를 계산합니다.$제이$
• 야코비 행렬과 잔차를 사용하여 정보 행렬과 정보 벡터 $하,비$
• 현재 반복 횟수를 계산합니다: $\Delta x\_={시간}^{-1b}\_$
• 반복 횟수가 충분히 작으면 반복을 종료하고, 그렇지 않으면 다음 반복을 입력합니다.

7. Levenberg-Marquardt(LM) 방법

LM법은 Gauss-Newton법을 기반으로 감쇠법의 아이디어에 따라 감쇠계수를 추가하는 방식, 즉 다음과 같은 방정식을 풀어낸다.

$$(ㅎ+\mu I)\Delta x=b$$
위 공식에서 감쇠 계수의 기능은 다음과 같습니다.

• H \boldsymbol{H} 에 추가$H는$ H \boldsymbol{H}를보장합니다.$H$ 는 양의 정부호입니다.

• 当$\mu$很大时，$\Delta x\_=-(H+\mu 나는{)}^{-1b}\_\fallingdotseq -\frac{}{중}비=-\frac{}{중}{제이}^{T}E(x)$, 최속강하법에 가깝습니다.

• 当$\mu$ 가 매우 작은 경우 Gauss-Newton 방법에 가깝기
  때문에 감쇠 계수를 합리적으로 설정하면 반복 속도를 동적으로 조정할 수 있습니다. 감쇠 계수 설정은 두 부분으로 나뉩니다.

• 초기값 선택

• 반복 볼륨에 따라 변경되는 업데이트 전략

먼저 초기값 선택 방법을 살펴보면 감쇠계수의 크기는 ${제이}^{}$JTJ \boldsymbol{J}^T\boldsymbol{J}${}^{의\; 경우\; T}$$J$의 크기를 선택하려면${제이}^{T}J는$고유값 분해를 수행합니다.${제이}^{티제이}\_=V\Lambda V^T$ ,$엘=\text{진단}({\lambda }_{},{엘}_{},...,{엘}_{}),V=[v_{},...,V_{}]$ 따라서 반복 공식은 다음과 같이 단순화됩니다.

$$\begin{array}{rl}(V\Lambda V^{티}+\mu I)\Delta x& =비\\ \Delta x\_& =(V\Lambda V^{티}+\mu 나는{)}^{-1b}\_\\ & =-\underset{나}{}\frac{V_{나}^{}}{{엘}_{}+중}{V}_{}\end{array}$$
따라서 $\mu$选为${엘}_{}$가까울 수도 있습니다. 간단한 아이디어는 ${중}_{}=티\mathrm{최대}\left({제이}^{티제이}\right)\_{}_{}$, 실제로는 일반적으로 $티\fallingdotseq [10^{-8},1]$

다음으로 μ \mu를 살펴보세요$\mu$ 의 업데이트 전략의 경우 먼저 감쇠 계수를 업데이트하는 방법을 정성적으로 분석합니다.

• 当$\Delta x$ F$F\left(x\right)$ 가 증가μ \mu도Δ x \Delta\boldsymbol{x}를줄이기 위한$\mu$$\Delta x는\; 단계크기를$ 줄여 이 반복의 영향을 줄입니다.
• 当$\Delta x$ F$F\left(x\right)$ 가 감소μ \mu도Δ x \Delta\boldsymbol{x}를증가시키는$\mu$$\Delta x는\; 단계크기를$ 늘려 이 반복의 영향을 증가시킵니다.

아래 정량적 분석을 진행해 보겠습니다. $엘\left(\Delta x\right)=에프\left(엑스\right)+2E\left(x\right)\_{}^{T}J\Delta x+\frac{}{2}\Delta x{\_}^{티제이}{\_}^{T}J\Delta x는$다음 배율 인수를 고려합니다.

$$아르\; 자형=\frac{에프\left(엑스\right)-에프(엑스+\Delta x}{패\left(0\right)-F\left(\Delta x\right)}$$
Marquardt는 다음과 같은 전략을 제안합니다.

• 当$아르\; 자형<0$ , 현재$\Delta x는$ F ( x ) F(\boldsymbol{x})를만듭니다$F\left(x\right)$ 는 증가하는데, 이는 여전히 최적 값과 거리가 멀다는 것을 의미하므로$\mu 는$ 더 큰 업데이트를 위해 가장 가파른 하강법에 가깝습니다.
• ρ > 0 \rho > 0 일 때$아르\; 자형>0$ 이고 비교적 크며, 현재$\Delta x는$ F ( x ) F(\boldsymbol{x})를만듭니다$F\left(x\right)$ 감소,$\mu 는$ Gauss-Newton 방법에 가깝게 만들어 속도를 줄이고 최적의 지점으로 업데이트합니다.
• ρ > 0 \rho > 0 이면$아르\; 자형>0$ 이지만 상대적으로 작아서 최적 지점 근처에 도달했음을 나타냅니다. 그런 다음 감쇠$\mu$ , 반복 단계 크기를 줄입니다.

Marquardt의 구체적인 전략은 다음과 같습니다.

if rho < 0.25: 
    mu = mu * 2
else if rho > 0.75: 
    mu = mu /3

Marquardt 전략을 사용한 업데이트 프로세스는 다음과 같습니다.

효과가 그다지 좋지 않음을 알 수 있으며, 반복 횟수가 증가할수록 $\mu 는$ 진동하기 시작하는데, 이는 반복량이 주기적으로$F(x)\; 는$ 증가했다가 감소합니다.

따라서 Nielsen은 G2O 및 Ceres에서도 사용되는 또 다른 전략을 제안했습니다.

if rho > 0:
    mu = mu * max(1/3, 1 - (2 * rho - 1)^3)
    v = 2
else:
    mu = mu * v
    v = 2 * v

이 전략을 사용한 최적화의 예는 다음과 같습니다.

μ \mu 임을 알 수 있다$\mu 는$ 수렴에 도달할 때까지 반복이 진행됨에 따라 상대적으로 원활하게 계속 감소할 수 있습니다.

8. 강력한 커널 기능

최소 제곱 문제를 수행할 때 관찰 잔차를 특히 크게 만드는 비정상적인 관찰 값이 발생합니다. 이러한 비정상적인 점이 처리되지 않으면 최적화 프로세스에 영향을 미치게 됩니다. 최적화 프로그램은 비정상적인 잔차 항을 최소화하려고 시도합니다. 마지막으로 , 상태 추정의 정확성에 영향을 미치는 강력한 커널 기능은 이러한 비정상적인 관찰의 영향을 줄이는 데 사용됩니다.

로버스트 커널 함수를 각 잔차 항에 직접 적용하여 최소 제곱 문제를 다음 형식으로 변환합니다.

$$에프\left(엑스\right)=\underset{나}{}\rho (||{전자}_{}(x)|{|}^2)$$
로버스트 커널 함수를 사용할 때 비선형 최소 제곱을 푸는 과정
이 형식에서는 로버스트 커널 함수를 사용하여 잔차에 대해 2차 테일러 확장을 수행합니다.

$$피(초+\Delta s)\_=피\left(x\right)+{아르\; 자형}^{\prime }\left(x\right)\Delta 초+\frac{}{2}{아르\; 자형}^{"}\left(x\right){디}^{2}s$$
위 식에서 변화량$\Delta s는$ 다음과 같이 계산$됩니다\; .$

$$\begin{array}{rl}\Delta s{\_}_{}& =||{이자}_{}(x+\Delta x)|{|}^2-||{이자}_{}(x)|{|}^2\\ & =||{이자}_{}\left(x\right)+{제이}_{}\Delta x|{|}^2-||{이자}_{}(x)|{|}^2\\ & =2e{\_}_{}(x{)}^{티제이}{\_}_{}\Delta x\_+\Delta x{\_}^{티제이}{\_}_{나}^{}{제이}_{}\Delta \end{array}$$
将$\Delta s$代入$피(초+\Delta s)는\; 다음과$ 같이 얻을 수 있습니다.

$$\begin{array}{rl}피(초+\Delta s)\_=& 피\left(초\right)+{아르\; 자형}^{\prime }\left(s\right)\left(2{전자}_{}\right(x{)}^{티제이}{\_}_{}\Delta x\_+\Delta x{\_}^{티제이}{\_}_{나}^{}{제이}_{}\Delta x)\\ & +\frac{}{2}{아르\; 자형}^{\prime }\prime \left(들\right)(2e{}_{}(x{)}^{티제이}{\_}_{}\Delta x\_+\Delta x{\_}^{티제이}{\_}_{나}^{}{제이}_{}\Delta x{)}^2\\ \fallingdotseq & 피\left(초\right)+2p{\_}^{\prime }\left(들\right){전자}_{}(x{)}^{티제이}{\_}_{}\Delta x\_+{아르\; 자형}^{\prime }(s)\Delta x^{티제이}{\_}_{나}^{}{제이}_{}\Delta x\_\\ & +2p{\_}^{\prime \prime }\left(s\right)\Delta x^{티제이}{\_}_{나}^{}{이자형}_{}\left(x\right){전자}_{}(x{)}^{티제이}{\_}_{}\Delta \end{array}$$
이전 아이디어에 따르면, 위 공식의 미분을 취하여 0과 동일하게 만들면 다음을 얻을 수 있습니다.

$$\underset{나}{}{제이}_{나}^{}\left(r^{\prime }\right(들)+2p{\_}^{\prime \prime }(들\left){전자}_{}\right(x\left){전자}_{}\right(x{)}^{티})J\Delta x=-\underset{나}{}{아르\; 자형}^{\prime }(들\left){제이}_{나}^{}{이자형}_{}\right(x)$$
이전 행렬 비교${제이}^{T}J\Delta x=-J_{나}^{}e(x)를$얻을 수 있으며, 견고한 커널 함수를 사용한 후에는 각 잔차의 커널 함수에 대한 1차 및 2차 도함수만 계산하고 다음 식에 따라 정보 행렬과 정보 벡터를 업데이트하면 됩니다. 위의 양식을 참조하세요.

일반적으로 사용되는 강력한 커널 함수
Cauchy 강력한 커널 함수:

$$\begin{array}{rl}피\left(초\right)& ={씨}^2로그\_(1+\frac{}{{씨}^2})\\ {아르\; 자형}^{\prime }\left(들\right)& =\frac{}{1+\frac{}{{씨}^2}}\\ {아르\; 자형}^{\prime \prime }(들& =-\frac{}{{씨}^2}\left(r^{\prime }\right(들){)}^{}\end{array}$$
그 중 $c$ 는 제어 매개변수입니다. 잔차가 정규 분포를 따르는 경우 Huber c는 1.345로 선택되고 Cauchy c는 2.3849로 선택됩니다. 다양한 강력한 커널 기능의 효과는 아래 그림에 나와 있습니다.