计算机视觉 — 对极几何与基础矩阵

矩阵"/>

计算机视觉 — 对极几何与基础矩阵

文章目录

• • • 一、对极几何
    • 二、基础矩阵
    • 三、8点算法估算基础矩阵
    • 四、实验结果
    • 五、小结
    • 六、代码

一、对极几何

对极几何中的重要概念：

1. 极点：极点elel:右相机坐标原点在左像平面上的像；极点erer:左相机坐标原点在右像平面上的像

2. 极平面：由两个相机坐标原点OlOl、OrOr和物点P组成的平面

3. 级线：极平面与两个像平面的交线，即plelplel和prerprer

4. 级线约束：两极线上点的对应关系

利用对极几何的约束关系，我们可以：

1. 找到物点P在左像平面上的像点pl；

2. 画出极线plel；

3. 找到极平面Olplel与右像平面的交线，即得极线prer；

4. 像点pl的对应点一定在极一prer上。

对极点 = 基线与像平面相交点 = 光心在另一幅图像中的投影

对极平面 = 包含基线的平面

对极线 = 对极平面与像平面的交线

二、基础矩阵

在计算机视觉中，基础矩阵（Fundamental matrix） F F F是一个3×3的矩阵，表达了立体像对的像点之间的对应关系，即描述空间中的点在两个像平面中的坐标对应关系。在对极几何中，对于立体像对中的一对同名点，它们的齐次化图像坐标分别为 p p p 与 p ′ p' p′ ， 表示一条必定经过 p ′ p' p′ 的直线（极线）。这意味着立体像对的所有同名点对都满足： p ′ T F p = 0 p'^T Fp=0 p′TFp=0

F矩阵中蕴含了立体像对的两幅图像在拍摄时相互之间的空间几何关系（外参数）以及相机检校参数（内参数），包括旋转、位移、像主点坐标和焦距。因为F矩阵的秩为2，并且可以自由缩放（尺度化），所以只需7对同名点即可估算出F的值。

基础矩阵这一概念由Q. T. Luong在他那篇很有影响力的博士毕业论文中提出。Faugeras则是在1992年发表的著作中以上面的关系式给出了F矩阵的定义。尽管Longuet-Higgins提出的本质矩阵也满足类似的关系式，但本质矩阵中并不蕴含相机检校参数。本质矩阵与基础矩阵之间的关系可由下式表达： E = K ′ T F K E = K'^T FK E=K′TFK

其中K和K’分别为两个相机的内参数矩阵。

F F F为 3 × 3 3×3 3×3矩阵，秩为2，对任意匹配点对 x ↔ x ′ x ↔ x' x↔x′ 均满足 x T F x ′ = 0 x^T Fx'=0 xTFx′=0

1. 转置：如果F是表述点对 ( x , x ′ ) (x, x') (x,x′)之间的基础矩阵，则 F T F^T FT是表述点对 ( x ′ , x ) (x' ,x) (x′,x)之间的基础矩阵;

2. 对极线： F F F可以将点 x x x 映射到对应像平面上一条线 l = F x ′ l=Fx' l=Fx′，同理可得 l ′ = F x ′ l'=Fx' l′=Fx′

3. 对极点：对于所有对极线，有 e T F x ′ = 0 , ∀ x ′ = e T F = 0 e^TFx'=0, \forall x'=e^TF=0 eTFx′=0,∀x′=eTF=0,同理有 F e ′ = 0 Fe'=0 Fe′=0

4. F F F自由度为7， i . e . 3 × 3 − 1 ( h o m o g e n e o u s ) − 1 ( r a n k 2 ) i.e. 3×3-1(homogeneous)-1(rank2) i.e.3×3−1(homogeneous)−1(rank2)

基础矩阵 F F F可以用于简化匹配，去除错配特征。

基本矩阵不依赖于场景中的物体，只和两帧图像间的相对位姿和相机矩阵有关（本质矩阵则与相机矩阵无关）。而单应矩阵不仅仅和帧间的相对位姿有关，还和特定的世界平面有关。所以，当我们得到两帧图像并且知道图像中点的对应关系后，不论场景是什么样的，通过基本矩阵就都已经直接恢复出帧间的运动；而单应矩阵则不行，只有当匹配点都在特定的世界平面中，才可以使用单应来恢复帧间的运动。

三、8点算法估算基础矩阵

步骤：

1. 求线性解：由系数矩阵 A A A最小奇异值对应的奇异矢量 f f f求的 F F F。
2. 奇异性约束:是最小化Frobenius范数 ∥ F − F ′ ∥ \begin{Vmatrix} F-F' \\ \end{Vmatrix} ∥∥​F−F′​∥∥​的 F ′ F' F′代替 F F F。

基本矩阵是由下述方程定义： x ′ T F x = 0 x'^T Fx=0 x′TFx=0

其中 x ↔ x ′ x ↔ x' x↔x′ 是两幅图像的任意一对匹配点。 由于每一组点的匹配提供了计算 F F F系数的一个线性方程，当给定至少7个点( 3 × 3 3 × 3 3×3的齐次矩阵减去一个尺度, 以及一个秩为2的约束)，方程就可以计算出未知的 F F F。 我们记点的坐标为 x = ( x , y , 1 ) T ， x ′ = ( x ′ , y ′ , 1 ) T x= (x,y,1)^T，x'= (x',y',1)^T x=(x,y,1)T，x′=(x′,y′,1)T，则对应的方程为：

[ x y 1 ] [ f 11 f 12 f 13 f 21 f 22 f 23 f 31 f 32 f 33 ] [ x ′ y ′ 1 ] \begin{bmatrix} x & y &1\\\end{bmatrix} \begin{bmatrix} f_{11} & f_{12} & f_{13} \\ f_{21} & f_{22} & f_{23} \\ f_{31} & f_{32} & f_{33} \\\end{bmatrix}\begin{bmatrix} x' \\ y' \\ 1\\\end{bmatrix} [x​