《计算机视觉中的多视图几何》笔记（14）

视图几何》笔记（14）"/>

《计算机视觉中的多视图几何》笔记（14）

14 Affine Epipolar Geometry

本章主要是在仿射摄像机的情况下重新考虑对极几何，也就是仿射对极几何。

仿射摄像机的优点是它是线性的，所以很多最优化算法可以用线性代数的知识解决。如果是一般的投影摄像机，很多算法就不是线性的了（比如三角化）。

文章目录

• 14 Affine Epipolar Geometry
• • 14.1 Affine epipolar geometry
  • 14.2 The affine fundamental matrix
  • • 14.2.1 Derivation
  • 14.2.2 Properties
  • 14.3 Estimating F A F_{A} FA​ from image point correspondences
  • • 14.3.1 The linear algorithm
    • 14.3.2 The Gold Standard algorithm
  • 14.4 Triangulation
  • 14.5 Affine reconstruction
  • 14.6 Necker reversal and the bas-relief ambiguity
  • 14.7 Computing the motion

14.1 Affine epipolar geometry

仿射摄像机的特点是它的光心在无穷远，所以从三维空间像二维平面投影时，投影射线时互相平行的。在这种情况下，对极几何就可以得到简化。

极线 所有极线都是互相平行的，因为不同点向图像投影的射线是平行的。

极点 因为所有极线互相平行，那么极点在无穷远处。

14.2 The affine fundamental matrix

仿射基本矩阵 F A F_A FA​长这样：

[ 0 0 a 0 0 b c d e ] \left[ \begin{matrix} 0 & 0 & a \\ 0 & 0 & b \\ c & d & e \\ \end{matrix} \right] ​00c​00d​abe​ ​
因为 a ， b ， c ， d ， e a，b，c，d，e a，b，c，d，e都不为0，那么 F A F_A FA​的秩就是3，一般情况下， F F F秩是2。

14.2.1 Derivation

接下来讲一下 F A F_A FA​的推导过程。

从几何角度推导 F A F_A FA​的过程

1. 考虑对应点之间的对应关系。因为从图像1到空间平面，再到图像2的所有变换都是基于平面的仿射变换，所以对应点之间的变换也是仿射变换，也就是 x ′ = H A x x'=H_A x x′=HA​x
2. 构造极线。极线是通过极点和 x ′ x' x′构造的。所以 l ′ = e ′ × H A x = F A x l'=e' \times H_A x =F_A x l′=e′×HA​x=FA​x，所以 F A = [ e ′ ] × H A F_A=[e']_{\times} H_A FA​=[e′]×​HA​。我们现在考虑仿射矩阵的特殊形式，以及当 e ′ e' e′为无穷大时的偏斜矩阵 [ e ′ ] × [e']_{\times} [e′]×​，因此最后一个元素为零，具体展开如下：

F A = [ e ′ ] × H A = [ 0 0 ∗ 0 0 ∗ ∗ ∗ 0 ] [ ∗ ∗ ∗ ∗ ∗ ∗ 0 0 1 ] = [ 0 0 ∗ 0 0 ∗ ∗ ∗ ∗ ] F_A =[e']_{\times} H_A \\ = \left[ \begin{matrix} 0 & 0 & * \\ 0 & 0 & * \\ * & * & 0 \\ \end{matrix} \right] \left[ \begin{matrix} * & * & * \\ * & * & * \\ 0 & 0 & 1 \\ \end{matrix} \right] \\ = \left[ \begin{matrix} 0 & 0 & * \\ 0 & 0 & * \\ * & * & * \\ \end{matrix} \right] FA​=[e′]×​HA​= ​00∗​00∗​∗∗0​ ​ ​∗∗0​∗∗0​∗∗1​ ​= ​00∗​00∗​∗∗∗​ ​

从代数角度推导 F A F_A FA​的过程

F = [ e ′ ] × P ′ P + F=[e']_{\times}P'P^{+} F=[e′]×​P′P+，把仿射摄像机的矩阵带入即可。

14.2.2 Properties

F A F_A FA​有5个非零元素，所以有4个自由度，是这么算的：2个极点，每个贡献一个自由度，2个平面上的极线互相映射，贡献2个自由度。

因为 F A e = 0 F_A e = 0 FA​e=0，所以极点表示为 ( − d ， c ， 0 ) (-d，c，0) (−d，c，0)，所以 e e e在 l ∞ l_{\infty} l∞​上。

点 x x x对应的极线 l ′ = F A x = ( a ， b ， c x + d y + e ) T l'=F_A x=(a，b，cx+dy+e)^T l′=FA​x=(a，b，cx+dy+e)T，此式表明所有的极线都是平行的，因为 ( a ， b ) (a，b) (a，b)与 ( x ， y ) (x，y) (x，y)互相独立

14.3 Estimating F A F_{A} FA​ from image point correspondences

给定若干对对应点，矩阵是 x ′ T F A x = 0 x^{'T}F_{A}x=0 x′TFA​x=0定义的，所以我们可以从对应点中计算 F A F_A FA​。

14.3.1 The linear algorithm

因为 F A F_A FA​规定了点与点之间的对应关系，所以给出足够过的点，肯定是能把 F A F_A FA​计算出来的。比如我们规定 x i = ( x i ， y i ， 1 ) ， x i ′ = ( x i ′ ， y i ′ ， 1 ) x_i=(x_i，y_i，1)，x'_i=(x'_i，y'_i，1) xi​=(xi​，yi​，1)，xi′​=(xi′​，yi′​，1)。这样一对对应点可以构造一个线性方程：
a x i ′ + b y i ′ + c x i + d y i + e = 0 ax'_i+by'_i+cx_i+dy_i+e=0 axi′​+byi′​+cxi​+dyi​+e=0

写成矩阵形式就是 A f = 0 Af=0 Af=0， A A A是一个 n × 5 n \times 5 n×5的矩阵，最少需要4对点。 F A F_A FA​有4个自由度，剩下的1个变量可由其他4个来表示。

奇异性约束

我们知道一般情况的 F F F是奇异矩阵，所以 F A F_A FA​也应该是一个奇异性矩阵。而且 F A F_A FA​的形式就确定了它的rank不会大于2，所以没有必要将奇异性约束像求普通 F F F那样加入求解的过程，换言之，不用考虑这个约束，直接求解就可以了。

几何解释

求解两个图像上的对应点就是在四维空间中去拟合一个平面（ a x i ′ + b y i ′ + c x i + d y i + e = 0 ax'_i+by'_i+cx_i+dy_i+e=0 axi′​+byi′​+cxi​+dyi​+e=0 就是四维空间中的平面）。这样做有两个好处：第一，求 F F F就是一个平面拟合过程，容易思考。第二，可以用sampson损失函数，因为它是唯一的一阶近似方法。

14.3.2 The Gold Standard algorithm

知道了求解 F F F的几何解释，我们就用这个几何解释来求解它。求解的过程就是黄金标准算法。我们考虑有噪声的情况，理论点可以表示为 x i ^ ， x i ^ ′ \hat{x_i}，\hat{x_i}' xi​^​，xi​^​′，实际观测点是 x i ， x i ′ x_i，x'_i xi​，xi′​，所谓的黄金标准算法就是优化以下函数：

m i n ∑ i d ( x i ， x i ^ ) 2 + d ( x i ′ ， x i ^ ′ ) 2 min \sum_{i} d(x_i，\hat{x_i})^2 + d(x'_i，\hat{x_i}')^2 mini∑​d(xi​，xi​^​)2+d(xi′​，xi​^​′)2

其中 x i ^ ， x i ^ ′ \hat{x_i}，\hat{x_i}' xi​^​，xi​^​′满足 x i ^ ′ T F A x i ^ = 0 \hat{x_i}^{'T}F_A \hat{x_i}=0 xi​^​′TFA​xi​^​=0，如果我们考虑几何解释，我们就可以考虑四维空间的一个点 X i = ( x i ′ ， y i ′ ， x i ， y i ) X_i=(x'_i，y'_i，x_i，y_i) Xi​=(xi′​，yi′​，xi​，yi​)，用这个点去拟合一个平面，其参数为 ( a ， b ， c ， d ， e ) (a，b，c，d，e) (a，b，c，d，e)，那么就是求点到平面的最小距离。
d ⊥ = a x i ′ ， b y i ′ + c x i + d y i + e a 2 + b 2 + c 2 + d 2 d_{\perp} = \frac{ax'_i，by'_i+cx_i+dy_i+e}{\sqrt{a^2+b^2+c^2+d^2}} d⊥​=a2+b2+c2+d2 ​axi′​，byi′​+cxi​+dyi​+e​

求解cost function函数的过程如下：
先对 e e e求导数，令其等于0，可以得到：
e = − 1 n ∑ ( N T X i ) = − N T X ˉ e=-\frac{1}{n} \sum(N^T X_i) = -N^T \bar{X} e=−n1​∑(NTXi​)=−NTXˉ

N = ( a ， b ， c ， d ) N=(a，b，c，d) N=(a，b，c，d)

N ˉ \bar{N} Nˉ就是所有已知 X X X的均值，也就是质心。

把 e e e反带回 d ⊥ d_{\perp} d⊥​ 得到：

d ⊥ = 1 ∣ ∣ N ∣ ∣ 2 ∑ i ( N T Δ X i ) d_{\perp} = \frac{1}{||N||^2} \sum_i(N^T \Delta X_i) d⊥​=∣∣N∣∣21​i∑​(NTΔXi​)

Δ X i = X i − X ˉ \Delta X_i = X_i - \bar{X} ΔXi​=Xi​−Xˉ

用 Δ X i \Delta X_i ΔXi​的行构造一个矩阵，然后直接SVD分解就可以了。
最后一个需要注意的点：黄金标准算法需要多于4对对应点。那么如果我们只知道4对对应点，该怎么办? 下面的算法来解决。

4对对应点求解 F A F_A FA​ 的步骤如下：

1. 用前三对对应点计算一个仿射变换 H A H_A HA​，也就是求解 x i ′ = H A x i x'_i=H_A x_i xi′​=HA​xi​
2. 用 H A H_A HA​计算 H A x 4 H_A x_4 HA​x4​，然后 ( H A x 4 × x 4 ′ ) (H_A x_4 \times x'_4) (HA​x4​×x4′​) 得到极线 l ′ l' l′
   那么极点就是 e ′ = ( − l 2 ′ ， l 1 ′ ， 0 ) e'=(-l'_2，l'_1，0) e′=(−l2′​，l1′​，0)
3. 所以对任何一个点 x x x，它对应的极线就是 e ′ × ( H A x ) = F A x e' \times (H_A x) = F_A x e′×(HA​x)=FA​x

14.4 Triangulation

现在假设我们知道一对对应点 ( x ， y ) ↔ ( x ′ ， y ′ ) (x，y) \leftrightarrow (x'，y') (x，y)↔(x′，y′) 和仿射基本矩阵 F A F_A FA​，因为已知对应点是含噪声的，我们想要确定不含噪声的点 ( x ^ ， y ^ ) ↔ ( x ^ ′ ， y ^ ′ ) (\hat{x}，\hat{y}) \leftrightarrow (\hat{x}'，\hat{y}') (x^，y^​)↔(x^′，y^​′) 所以我们得到一个带约束的优化：

( x − x ^ ) 2 + ( y − y ^ ) 2 + ( x ′ − x ^ ′ ) 2 + ( y − y ^ ′ ) 2 (x-\hat{x})^2 + (y-\hat{y})^2 + (x'-\hat{x}')^2 + (y-\hat{y}')^2 (x−x^)2+(y−y^​)2+(x′−x^′)2+(y−y^​′)2

同时：

( x ^ ， y ^ ， 1 ) F A ( x ^ ′ ， y ^ ′ ， 1 ) = 0 (\hat{x}，\hat{y}，1) F_A (\hat{x}'，\hat{y}'，1) = 0 (x^，y^​，1)FA​(x^′，y^​′，1)=0

那么怎么样求解呢? 除了几何解释的求解法以外，我们还可以用sampson损失函数：

( x ^ ′ y ^ ′ x ^ y ^ ) = ( x ′ y ′ x y ) − a x ′ + b y ′ + c x + d y + e a 2 + b 2 + c 2 + d 2 ( a b c d ) \begin{pmatrix} \hat{x}' \\ \hat{y}' \\ \hat{x} \\ \hat{y} \\ \end{pmatrix}= \begin{pmatrix} x' \\ y' \\ x \\ y \\ \end{pmatrix}- \frac{ax'+by'+cx+dy+e}{a^2+b^2+c^2+d^2} \begin{pmatrix} a \\ b \\ c \\ d \\ \end{pmatrix} ​x^′y^​′x^y^​​ ​= ​x′y′xy​ ​−a2+b2+c2+d2ax′+by′+cx+dy+e​ ​abcd​ ​

14.5 Affine reconstruction

假设我们有多于4对对应点 x i ↔ x i ′ x_i \leftrightarrow x'_i xi​↔xi′​，如果摄像机是投影摄像机，那么重建的结果就是投影重建。现在如果摄像机是仿射摄像机，那么重建结果就是仿射重建。本节就来说明这个结果。

我们假设空间中有4个不共面的点 X i X_i Xi​，我们选择 X 0 X_0 X0​作为原点。然后我们构造三个坐标轴，表示为 E i ~ = X i ~ − X 0 ~ \tilde{E_i} = \tilde{X_i} - \tilde{X_0} Ei​~​=Xi​~​−X0​~​。所以对于一个空间中的点 X = ( x ， y ， z ) X=(x，y，z) X=(x，y，z)，它的坐标就可以表示为：

X ~ = X 0 + x E 1 ~ + y E 2 ~ + z E 3 ~ \tilde{X} = X_0 + x \tilde{E_1} + y \tilde{E_2} + z \tilde{E_3} X~=X0​+xE1​~​+yE2​~​+zE3​~​

X 0 ~ = ( 0 0 0 ) X 1 ~ = ( 1 0 0 ) X 2 ~ = ( 0 1 0 ) X 3 ~ = ( 0 0 1 ) \tilde{X_0} = \begin{pmatrix} 0 \\ 0 \\ 0 \\ \end{pmatrix} \tilde{X_1} = \begin{pmatrix} 1 \\ 0 \\ 0 \\ \end{pmatrix} \tilde{X_2} = \begin{pmatrix} 0 \\ 1 \\ 0 \\ \end{pmatrix} \tilde{X_3} = \begin{pmatrix} 0 \\ 0 \\ 1 \\ \end{pmatrix} X0​~​= ​000​ ​X1​~​= ​100​ ​X2​~​= ​010​ ​X3​~​= ​001​ ​

有了这些公式以后，我们来看看仿射摄像机的投影过程长什么样，该过程可以被表达为：
x ~ = M 2 × 3 X ~ + t ~ \tilde{x} = M_{2 \times 3} \tilde{X} + \tilde{t} x~=M2×3​X~+t~

所以说上文的 E i ~ \tilde{E_i} Ei​~​可以被表示成 e i ~ = M 2 × 3 E i ~ \tilde{e_i}=M_{2 \times 3} \tilde{E_i} ei​~​=M2×3​Ei​~​，那么对于空间点 X = ( x ， y ， z ) X=(x，y，z) X=(x，y，z)，它在第一幅图像中就可以被表示成：
x e 1 ~ + y e 2 ~ + z e 3 ~ x \tilde{e_1} + y \tilde{e_2} + z \tilde{e_3} xe1​~​+ye2​~​+ze3​~​

对于第二幅图象， e ~ ′ = M 2 × 3 E i ~ \tilde{e}'=M_{2 \times 3} \tilde{E_i} e~′=M2×3​Ei​~​，那么 X X X在第二幅图象中就可以表示成：

x e 1 ~ ′ + y e 2 ~ ′ + z e 3 ~ ′ x \tilde{e_1}' + y \tilde{e_2}' + z \tilde{e_3}' xe1​~​′+ye2​~​′+ze3​~​′

14.6 Necker reversal and the bas-relief ambiguity

本章主要讲述在已标定摄像机的情况下，只用两个图像会产生一系列的歧义.
主要是两种歧义:

1. Necker reversal
   主要原因是物体旋转 ρ \rho ρ 和旋转 − ρ -\rho −ρ的镜像，在affine摄像机下会产生同样的投影图像。如果是透视投影，那么每个点都会有不同的深度，所以这种歧义就没有了。

2. The bas-relief ambiguity
   主要原因是摄像机进行一个旋转后，从光心出发的光线依旧相交于同一点。这样导致深度和旋转角度是不确定的，参见P357，fig14.9(b)，看图容易理解一点。

14.7 Computing the motion

本节主要讲述如果从 F A F_A FA​中计算摄像机运动。

我们首先把摄像机的运动表示为 R = R ρ R θ R=R_{\rho}R_{\theta} R=Rρ​Rθ​。

θ \theta θ是绕视线方向的旋转角度. ρ \rho ρ是绕与图像平面平行的轴的旋转角度， ϕ \phi ϕ是图像x轴的旋转角度.具体参见P358图14.10，图像之间除了旋转还有一个缩放因子 s s s。

具体的推导过程我们省略，在这里直接给出公式：
tan ⁡ ϕ = b a tan ⁡ ( ϕ − θ ) = d c s 2 = c 2 + d 2 a 2 + b 2 \tan \phi = \frac{b}{a} \\ \tan (\phi - \theta) = \frac{d}{c} \\ s^2 = \frac{c^2+d^2}{a^2+b^2} tanϕ=ab​tan(ϕ−θ)=cd​s2=a2+b2c2+d2​

a , b , c , d a,b,c,d a,b,c,d就是黄金标准算法里提到的四维空间的平面参数。