计算机视觉教程0-3：为何拍照会有死亡视角？详解相机矩阵与畸变

一起养成写作习惯！这是我参与「掘金日新计划 · 4 月更文挑战」的第6天，点击查看活动详情。

---

0 拍照的死亡角度

拍照死亡角度一般指的是将自己脸盆子拍得特别大，拍出用鼻孔看人的狰狞面目，比如下面这张照片。在拍照的死亡角度下，镜头畸变会产生失真，让你的体态更圆润、厚实，因此部分美颜软件里人像修正中会有“去畸变”这一项功能。本文就从计算机视觉的角度谈一谈镜头畸变原理。

1 透视相机模型

透视相机模型描述了三维空间中的点与二维图像平面上像素间的映射关系。

根据小孔成像原理，透视相机的成像点与空间点之间方向相反，如图所示。为得到与空间点方向相同的成像点，将成像面沿着光轴移动到归一化成像面，接下来的讨论以归一化成像面为准。

在确定归一化成像面后，从空间点 $^W\!\tilde{X}$到像素点 $\tilde{u}$的映射可分为两步：

1. 将 $^W\!\tilde{X}$映射到归一化成像面的成像点 $^C\!\tilde{x}$，对应的映射关系称为相机外参(Extrinsic)；
2. 将 $^C\!\tilde{x}$映射到像素平面的像素 $\tilde{u}$，对应的映射关系称为相机内参(Intrinsic)。上述各点均处于投影空间，采用齐次坐标。

2 相机矩阵

设世界坐标系 $\left\{ \boldsymbol{W} \right\}$相对于透视相机坐标系 $\left\{ \boldsymbol{C} \right\}$的位姿为

$$_{\boldsymbol{W}}^{\boldsymbol{C}}\!\boldsymbol{T}=\left[ \begin{matrix} _{\boldsymbol{W}}^{\boldsymbol{C}}\;\!\!\!\boldsymbol{R}& ^{\boldsymbol{C}}\!\boldsymbol{p}_{w_0}\\ 0& 1\\\end{matrix} \right]$$

考虑到从三维空间降维到二维平面，设世界坐标值 $\left[ \begin{matrix} ^{\boldsymbol{W}\!}\!X& ^{\boldsymbol{W}\!}\!\!\:\!\:Y& ^{\boldsymbol{W}\!}\!Z& 1\\\end{matrix} \right] ^T$，则

$$^{\boldsymbol{C}}\!\tilde{x}=\left[ \begin{matrix} 1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\\end{matrix} \right] {\color{white} ,}_{\boldsymbol{W}}^{\boldsymbol{C}}\!\boldsymbol{T}^{\,\,\boldsymbol{W}}\!\!\tilde{X}=\left[ \begin{array}{c} ^{\boldsymbol{C}}\!X\\ ^{\boldsymbol{C}}Y\\ ^{\boldsymbol{C}}\!Z\\\end{array} \right]$$

在上述推导过程中，称

$$\boldsymbol{M}_{\boldsymbol{E}}=\left[ \begin{matrix} 1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& 0\\\end{matrix} \right] {\color{white} ,}_{\boldsymbol{W}}^{\boldsymbol{C}}\!\boldsymbol{T}=\left[ \begin{matrix} _{\boldsymbol{W}}^{\boldsymbol{C}}\;\!\!\!\boldsymbol{R}& ^{\boldsymbol{C}}\!\boldsymbol{p}_{w_0}\\\end{matrix} \right]$$

为相机外参矩阵。通常令尺度因子 $^{\boldsymbol{C}}\!Z=1$， $^{\boldsymbol{C}}\!\tilde{x}=\left[ \begin{matrix} \frac{^{\boldsymbol{C}}\!X}{^{\boldsymbol{C}}\!Z}& \frac{^{\boldsymbol{C}}Y}{^{\boldsymbol{C}}\!Z}& 1\\\end{matrix} \right] ^T=\left[ \begin{matrix} ^{\boldsymbol{C}}\!\hat{x}& ^{\boldsymbol{C}}\!\hat{y}& 1\\\end{matrix} \right] ^T$

从 $^C\!\tilde{x}$到像素 $\tilde{u}$的映射用三维内参矩阵 $K$来表示，即

$$\tilde{u}=\boldsymbol{K}^C\!\tilde{x}=\left[ \begin{matrix} f_u& s& c_u\\ 0& f_v& c_v\\ 0& 0& 1\\\end{matrix} \right] \,\,^C\!\tilde{x}$$

其中

• 如图(a)所示，参数 $c_u$、 $c_v$用于中心映射——将光轴与归一化成像面的交点，即成像面中心点映射到像素平面中心，其取决于拜耳阵列与光轴如何对齐。
• 如图(b)所示，参数 $f_u$、 $f_v$用于归一化——将矩形的传感器阵列映射为正方形
• 如图(c)所示，参数 $s$用于正交化——当传感器阵列不正交或传感器平面与光轴不垂直时，需要引入 纠正畸变。

3 镜头畸变

上述透视相机模型基于针孔无限小的假设，但在现实中，光线通过镜头将使相机内部复杂化，产生明显的径向失真——场景中的线条在图像中显示为曲线。径向畸变(Radial Distortion)有两种类型：

• 筒体畸变(Barrel Distortion)
• 枕形失真(Pincushion Distortion)

此外由于相机组装过程中，透镜不能和成像面严格平行，会引入切向畸变(Tangential Distortion)。

针对具有镜头畸变的相机，不能直接应用透视相机模型，通常需要先通过多项式模型修正这种几何偏差，即：

$$\begin{cases} \hat{x}=x\left( 1+\kappa _1r^2+\kappa _2r^4 \right) +2p_1xy+p_2\left( r^2+2x^2 \right)\\ \hat{y}=y\left( 1+\kappa _1r^2+\kappa _2r^4 \right) +p_1\left( r^2+2y^2 \right) +2p_2xy\\\end{cases}$$

其中 $r^2=x^2+y^2$， $\kappa _1$、 $\kappa _2$称为径向畸变参数， $p_1$、 $p_2$称为切向畸变参数； $(x,y)$为畸变坐标， $\left( \hat{x},\hat{y} \right)$为无畸变坐标。

---

计算机视觉基础教程大纲

章号                                    内容

  0                              色彩空间与数字成像

  1                              计算机几何基础

  2                              图像增强、滤波、金字塔

  3                              图像特征提取

  4                              图像特征描述

  5                              图像特征匹配

  6                              立体视觉

  7                              项目实战

更多优质内容和配套代码欢迎来我的AI频道“AI技术社”