DSO之光度标定

之前一直没看DSO1，前阵子对应光度模型的论文和代码研究了一下，做了简单的总结。

1. 相机光度模型（Photometric Model）

在光度标定的论文2中，作者给出光度模型如下：

\begin{matrix} (1) & I (x) = G (t V (x) B (x)) \end{matrix}

$I(\mathbf x) = G(tV(\mathbf x)B(\mathbf x)) \tag{1}$

这里的 $G$ 为相机的响应函数（response function）， $V$ 为(归一化的)渐晕函数(vignette)， $B$ 是辐照度图像（irradiance image）， $I$ 是我们从相机获取的图像。在论文中，使用的是非参数化（non-parametric）的求解方式，也就是说我们不是求出函数的表达式，而是得到一个映射表。

2. 相机响应函数标定（Response Calibration）

在标定相机响应函数的时候，作者是将相机固定，逐渐变换相机曝光时间，对一个静止的场景进行采集。也就是说，在这个过程中，相机的辐照度图像 $B$ 是不变的。由于相机的渐晕是相机固有的属性，在标定相机响应函数的时候，把相机的光度模型转换成：

\begin{matrix} (2) & I (x) = G (t B^{'} (x)) \end{matrix}

$I(\mathbf x) = G(tB'(\mathbf x)) \tag{2}$

这里 $B'(\mathbf x) := V(\mathbf x)B(\mathbf x)$ 。在求响应函数的时候，为了方便起见，作者求的是响应函数的反函数： $U:=G^{-1}$ ，给定一个图像 $I_i$ ，其对应的曝光时间为 $t_i$ ，假设在 $U(I(\mathbf x))$ 上有一个零均值的高斯噪声，则模型有如下形式：

\begin{matrix} (3) & U (I_{i} (x)) = t_{i} B^{'} (x) + n_{i}, n_{i} \sim N (0, σ_{i}^{2}) \end{matrix}

$U(I_i(\mathbf x)) = t_iB'(\mathbf x) + n_i, \quad n_i\sim N(0,\sigma_i^2) \tag{3}$

扫描二维码关注公众号，回复： 100802 查看本文章

通过最大似然估计，我们近似给出如下最小二乘的形式：

\begin{matrix} (4) & E (U, B^{'}) = \sum_{i} \sum_{x \in Ω} (U (I_{i} (x)) - t_{i} B^{'} (x))^{2} \end{matrix}

$E(U,B')=\sum_i\sum_{\mathbf x\in \Omega}(U(I_i(\mathbf x)) - t_iB'(\mathbf x))^2 \tag{4}$

第一个求和是对所有（不同曝光时间的）图像，第二个求和是对图像平面上所有的像素点。对上式最小化，通过轮流最小化求解 $U$ 和 $B'$ 得到：

\begin{aligned} (5.1) & U (k)^{*} & = arg min_{U (k)} E (U, B^{'}) = \frac{\sum_{Ω_{k}} t_{i} B^{'} (x)}{| Ω_{k} |} \\ (5.2) & B^{'} (x)^{*} & = arg min_{B^{'} (x)} E (U, B^{'}) = \frac{\sum_{i} t_{i} U (I_{i} (x))}{\sum_{i} t_{i}^{2}} \end{aligned}

$\begin{align} U(k)^* &= \text{arg}\min_{U(k)}E(U,B') = \frac{\sum_{\Omega_k}t_iB'(\mathbf x)}{|\Omega_k|}\tag{5.1}\\ B'(\mathbf x)^* &= \text{arg}\min_{B'(\mathbf x)}E(U,B') = \frac{\sum_{i}t_iU(I_i(\mathbf x))}{\sum_it_i^2} \tag{5.2} \end{align}$

先看 $U(k)$ 的求解，由于论文中使用的是非参数方式， $U(k)$ 对应于一个大小为256的表格（一维数组），对于固定的 $k$ 值， $U(k)$ 也是常量。因此在求 $U(k)$ 时，相当于对 $(4)$ 式子中的一个变量求偏导，并令式子为 $0$ ：

\begin{matrix} (6) & \sum_{i} \sum_{x \in Ω^{'}} (U (k) - t_{i} B^{'} (x)) = \sum_{i} \sum_{x \in Ω^{'}} U (k) - \sum_{i} \sum_{x \in Ω^{'}} t_{i} B^{'} (x) = \sum_{x \in Ω_{k}} U (k) - \sum_{x \in Ω_{k}} t_{i} B^{'} (x) = 0 \end{matrix}

$\sum_i\sum_{\mathbf x\in \Omega'}(U(k) - t_iB'(\mathbf x)) = \sum_i\sum_{\mathbf x\in \Omega'}U(k) - \sum_i\sum_{\mathbf x\in \Omega'}t_iB'(\mathbf x) = \sum_{\mathbf x \in \Omega_k}U(k) - \sum_{\mathbf x \in \Omega_k}t_iB'(\mathbf x) = 0 \tag{6}$
这里的

Ω^{'} := {x | I_{i} (x) = k}

$\Omega':=\{\mathbf x|I_i(\mathbf x)=k\}$ ，是对于第

i

$i$ 帧图像的所有像素值为

k

$k$ 的像素点的集合，而这里的

Ω_{k} := {i, x | I_{i} (x) = k}

$\Omega_k := \{i,\mathbf x|I_i(\mathbf x)=k\}$ 是在所有图像中，像素值等于

k

$k$ 的像素点的集合。从而我们可以解出

(5.1)

$(5.1)$ 式。对应代码：

            for(int i=0;i<n;i++)//! 遍历 i （图像）
            {
                for(int k=0;k<w*h;k++)//! 遍历 x （像素点）
                {
                    int b = dataVec[i][k];
                    if(b == 255) continue;
                    GNum[b]++;//! 所有像素值为b的像素点个数|omega_k|
                    GSum[b]+= E[k] * exposureVec[i];//! 累计的ti*B'(x)
                }
            }
            for(int i=0;i<256;i++)
            {
                G[i] = GSum[i] / GNum[i];
                if(!std::isfinite(G[i]) && i > 1) G[i] = G[i-1] + (G[i-1]-G[i-2]);
            }

对于 $B'(\mathbf x)$ 同理，由于是只对某一位置像素点求，因此可以把每一个 $B'(\mathbf x)$ 分开，求得其对应的最优。转换得到

\begin{matrix} (7) & E (U, B^{'}) = \sum_{x \in Ω} \underset{E (U, B^{'}, x)}{\underset{⏟}{\sum_{i} (U (I_{i} (x)) - t_{i} B^{'} (x))^{2}}} \end{matrix}

$E(U,B')=\sum_{\mathbf x\in \Omega}\underbrace{\sum_i(U(I_i(\mathbf x)) - t_iB'(\mathbf x))^2}_{E(U,B',\mathbf x)} \tag{7}$

则分别对每一个 $B'(\mathbf x)$ 求偏导，也就是对 $E(U,B',\mathbf x)$ 中的 $B'(\mathbf x)$ 求偏导，可得：

\begin{matrix} (8) & 2 \sum_{i} t_{i} (U (I_{i} (x)) - t_{i} B^{'} (x)) = 2 \sum_{i} t_{i} U (I_{i} (x)) - 2 \sum_{i} t_{i}^{2} B^{'} (x) \end{matrix}

$2\sum_it_i(U(I_i(\mathbf x)) - t_iB'(\mathbf x)) = 2\sum_it_iU(I_i(\mathbf x))-2\sum_i t_i^2B'(\mathbf x)\tag{8}$

整理之后就可以得到式 $(5.2)$ 。对应的代码为：

            for(int i=0;i<n;i++)//! 遍历 i （图像）
            {
                for(int k=0;k<w*h;k++)//! 遍历 k（像素点）
                {
                    int b = dataVec[i][k];
                    if(b == 255) continue;
                    ENum[k] += exposureVec[i]*exposureVec[i];
                    ESum[k] += (G[b]) * exposureVec[i];
                }
            }
            for(int i=0;i<w*h;i++)
            {
                E[i] = ESum[i] / ENum[i];
                if(E[i] < 0) E[i] = 0;
            }

在求响应函数的时候，对像素值为 $255$ 的点都是认为过曝光的，因此都剔除了。则 $U(255)$ 就没法正常计算得到，因此论文中通过使用相邻的函数值推断得到。并且为了除去尺度的多义性，令 $U(255)=255$ ，并把 $U(k)$ 其他值按照该尺度进行缩放。对应代码：

       // rescale such that maximum response is 255 (fairly arbitrary choice).
        double rescaleFactor=255.0 / G[255];
        for(int i=0;i<w*h;i++)
        {
            E[i] *= rescaleFactor;
            if(i<256) G[i] *= rescaleFactor;
        }

由于论文使用的是打表（非参数化）的形式，因此在计算 $(5.1)$ 的时候，我们需要保证每一个 $U(k)$ 都应该可以计算，也就是说采集的图像上的像素值要尽可能覆盖 $0\sim255$ 的所有范围。实际操作的时候，作者是从曝光时间从 $0.05$ ms逐渐提升到 $20$ ms，采集1000张图像，覆盖120种不同曝光时间，以保证响应函数计算的准确。

3.渐晕标定（Vignette Calibration）

同样，对渐晕标定也使用非参数化的形式，使用一个渐晕映射表 $V:\Omega\rightarrow[0,1]$ 。标定过程是对这一块白墙进行图像的采集，假设白墙是理想的朗伯反射面（Lambertian Suface），也就是指在固定照明下，从任意视角上观察都有相同亮度的平面。

论文中，作者通过AR Marker获取相机相对平面的位姿。定义从3D空间到图像平面的映射 $\pi:\mathcal P\rightarrow \Omega$ 。同样假设在 $U(I_i(\pi_i(\mathbf x)))$ 上有高斯白噪声，通过最大似然，得到如下的误差方程：

\begin{matrix} (9) & E (C, V) = \sum_{i, x \in p} (t_{i} V ([π_{i} (x)]) C (x) - U (I_{i} (π_{i} (x))))^{2} \end{matrix}

$E(C,V)=\sum_{i,\mathbf x\in\mathcal p}\Big(t_iV\big([\pi_i(\mathbf x)]\big)C(\mathbf x) - U\big(I_i(\pi_i(\mathbf x))\big)\Big)^2\tag{9}$
这里的

C : P \to R

$C:\mathcal P\rightarrow\mathbb R$ 是平面上的点到相机的辐射度（irradiance），是未知的。论文中把平面表示为正方区域，且分成

1000 \times 1000

$1000\times1000$ 个离散点。这里的

[\cdot]

$[\cdot]$ 表示距离最近的离散坐标。

通过交替最小化 $C$ 和 $V$ ，给出：

\begin{aligned} (10.1) & C^{*} (x) & = arg min_{C (x)} E (C, V) = \frac{\sum_{i} t_{i} V ([π_{i} (x)]) U (I_{i} (π_{i} (x)))}{\sum_{i} (t_{i} V ([π_{i} (x)]))^{2}} \\ (10.2) & V^{*} (x) & = arg min_{V (x)} E (C, V) = \frac{\sum_{i} t_{i} C (x) U (I_{i} (π_{i} (x)))}{\sum_{i} (t_{i} C (x))^{2}} \end{aligned}

$\begin{align} C^*(\mathbf x) &= \text{arg}\min_{C(\mathbf x)}E(C,V)=\frac{\sum_it_iV\big([\pi_i(\mathbf x)]\big)U\big(I_i(\pi_i(\mathbf x))\big)}{\sum_i\big(t_iV([\pi_i(\mathbf x)])\big)^2}\tag{10.1}\\ V^*(\mathbf x) &= \text{arg}\min_{V(\mathbf x)}E(C,V)=\frac{\sum_it_iC(\mathbf x)U\big(I_i(\pi_i(\mathbf x))\big)}{\sum_i\big(t_iC(\mathbf x)\big)^2}\tag{10.2} \end{align}$
实际代码中的操作，其实把光度模型写作：

\begin{matrix} (11) & \frac{1}{t_{i}} U (I_{i} (π_{i} (x))) = V ([π_{i} (x)]) C (x) \end{matrix}

$\frac{1}{t_i}U\big(I_i(\pi_i(\mathbf x))\big) = V\big([\pi_i(\mathbf x)]\big)C(\mathbf x) \tag{11}$
也就定义为作用了渐晕效果后的辐射度图像。实际上，在求

C

$C$ 和

V

$V$ 的时候，如果使用恒定的曝光时间，则直接可以去掉曝光时间

t_{i}

$t_i$ 的影响，这里本身就存在一个不确定的尺度因子，由于

U

$U$ 是归一化在区间

[0, 255]

$[0,255]$ 中，V的值域在

[0, 1]

$[0,1]$ 。在曝光恒定的条件下，只要给的曝光时间和真实曝光时间差别不要太大，都是可以的，实际上只会影响辐射度图像

C

$C$ 的值域范围，不影响我们标定的渐晕

V

$V$ 的结果。如果直接不管

t_{i}

$t_i$ （令其为1），则相当于辐射度图像的值域和得到的图像亮度范围基本是一致的。

去除曝光时间的影响， $(10)$ 可以转化为：

\begin{aligned} (12.1) & C^{*} (x) & = arg min_{C (x)} E (C, V) = \frac{\sum_{i} V ([π_{i} (x)]) U^{'} (I_{i} (π_{i} (x)))}{\sum_{i} (V ([π_{i} (x)]))^{2}} \\ (12.2) & V^{*} (x) & = arg min_{V (x)} E (C, V) = \frac{\sum_{i} C (x) U^{'} (I_{i} (π_{i} (x)))}{\sum_{i} (C (x))^{2}} \end{aligned}

$\begin{align} C^*(\mathbf x) &= \text{arg}\min_{C(\mathbf x)}E(C,V)=\frac{\sum_iV\big([\pi_i(\mathbf x)]\big)U'\big(I_i(\pi_i(\mathbf x))\big)}{\sum_i\big(V([\pi_i(\mathbf x)])\big)^2}\tag{12.1}\\ V^*(\mathbf x) &= \text{arg}\min_{V(\mathbf x)}E(C,V)=\frac{\sum_iC(\mathbf x)U'\big(I_i(\pi_i(\mathbf x))\big)}{\sum_i\big(C(\mathbf x)\big)^2}\tag{12.2} \end{align}$

这里 $U'\big(I_i(\pi_i(\mathbf x))\big) = \frac{1}{t_i}U\big(I_i(\pi_i(\mathbf x))\big)$ 。

和相机响应函数标定一样，这里是稠密的打表的形式，因此，需要尽可能多的数据，才可以较好地恢复出渐晕的映射表。和响应函数相似，这里对应代码就不贴出了。

1. 相机光度模型（Photometric Model）

2. 相机响应函数标定（Response Calibration）

3.渐晕标定（Vignette Calibration）

猜你喜欢