SLAM十四讲——第五讲相机与图像理论部分

图像理论部分"/>

SLAM十四讲——第五讲相机与图像理论部分

目录

相机模型

单目模型（重点）

        单目针孔模型

      相机畸变： 

      相机畸变处理流程如下：

      成像过程总结 ：

鱼眼相机

卷帘相机与全局相机

全景相机（使机器人感知360°的环境）

双目针孔模型（重点）

双目相机：

存在问题：

RGB-D

与双目相机估计深度的区别

优点：

缺点：

相机标定（重点）

为什么要标定

常用标定方法

matlab

Opencv

Kalibr（ROS）GitHub - ethz-asl/kalibr: The Kalibr visual-inertial calibration toolbox

做SLAM常用的相机

---

相机模型

• 单目模型（重点）

                单目针孔模型

可得结果：

 成像平面X-Y和像素系u-v：

 注意：像素坐标系和像平面坐标系之间的转换就差两个步骤：

1. 坐标单位之间的转换
2. 像素中心的偏移

 

k：相机的内参矩阵，只跟相机本身有关

 

 

注意： k是常数，即相机的内参矩阵！

---

相机畸变： 

注意：处理畸变时的x，y；代入的是在归一化平面上的坐标！

相机畸变处理流程如下：

---

成像过程总结 ：

 

                鱼眼相机

                        【摄影vlog】鱼眼相机里的世界_哔哩哔哩_bilibili

                卷帘相机与全局相机

                     卷帘相机与全局相机的区别                   (61条消息) 卷帘相机和全局相机的区别（Rolling Shutter & Global Shutter）_诸葛飞飞的博客-CSDN博客

                      果冻效应

                        “果冻效应”是什么？将尺子在阳光下拨动，有趣的现象发生了_哔哩哔哩_bilibili

                全景相机（使机器人感知360°的环境）

                        目前最值得一试的全景运动相机？影石Insta360 X3上手_哔哩哔哩_bilibili

• 双目针孔模型（重点）

注意：单目相机存在的问题——深度丢失！

双目相机：

 

最后推导所得结果： 

最后公式分析：b:基线已知  d(disparty):视差  z：深度信息

• 若是深度信息很大，比如太阳，人睁左眼闭右眼和睁右眼闭左眼的两种情况差别不大，即视差很小。
• 若深度信息很小，比如眼前的手指，人睁左眼闭右眼和睁右眼闭左眼的两种情况差别很大，即视差很大。
•  基线b越大越好，因为现实世界成像存在噪声，感光平面cmos上，由于光源影响，会有一些点的匹配不准，白点噪声，基线很小的情况下，会造成很大的误差。比如：要做10m避障，要使用10cm的基线！ 
•  基线b越大越好的物理意义：基线b越大，照照片时，对于相同深度的物体，视差越大！

存在问题：

• 对计算机要求特别高，对于p点来说，如何将左边成像平面的点，和右边平面的点匹配到一块。
• 如果要对环境进行稠密的三维重建，这时要对相机中的每一个像素点都要做如下流程：首先匹配，之后计算视差，带入公式中计算z。导航时所用的图像是640*480，总共有30万像素！相机一般是30fps。
• 基线会限制感知距离的最大值。

RGB-D

RGB-D既能够采集三通道的RGB图像，相机中安装了红外发射和接受器，能够直接采集深度信息

与双目相机估计深度的区别

• 双目相机是使用像素匹配的方法，通过计算得到的，而RGB-D相机是通过物理方法得到的，对算力的要求很低。
• RGB-D相机得到的是RGB彩色图像，可得到彩色的3D点云。

优点：

• 直接测量深度，无需像单双目那样计算每个像素的深度
• RGB+Depth，彩色点云，场景稠密重建很友好

缺点：

• 容易受到日光影响
• 不同机器人之间的RGB-D也可能会相互影响
• 没办法检测到投射物体
• 成本、功耗

相机标定（重点）

为什么要标定

• 我们建立了相机的观测方程z=h(x,y)
• 观测方程涉及内参k和外参Tcw，外参为待估计量，内参为相机的固有变量，只有将内参估计好，我们才能更加准确的估计外参（SLAM要解决的问题就是找到x和y）
• 标定车间一分钟标定一辆车的自动驾驶标定车间长啥样？_哔哩哔哩_bilibili

 注意：要估计外参，就是认为内参k是正确的，不受外参的影响！

常用标定方法

• matlab

                matlab 工具标定相机流程：

• Opencv

                Opencv 官方手册：.x/

                Opencv 标定流程：

                Opencv B站教学推荐：=29

                Opencv CSDN博客推荐：OpenCV入门【C++版】

• Kalibr（ROS）GitHub - ethz-asl/kalibr: The Kalibr visual-inertial calibration toolbox

        Kalibr 标定流程：/?spm_id_from=333.337.search-card.all.click&vd_source=0da0b7e545e1a65e82836ac4eff73077

做SLAM常用的相机

• Realsense
• ZED
• kinect
• 工业相机

1. ov7670
2. uvc免驱
3. csi相机

• SDK、价格、效果