商汤科技:面向增强现实（AR）的视觉定位技术的创新突破与应用

商汤科技:面向增强现实（AR）的视觉定位技术的创新突破与应用"/>

商汤科技:面向增强现实（AR）的视觉定位技术的创新突破与应用

[1]章国锋. 商汤科技:面向增强现实的视觉定位技术的创新突破与应用[J]. 杭州科技, 2019(6):4.

• 1、引入
• 2、挑战
• 3、SenseAR的关键技术
• • 3.1、稀疏点云地图构建
  • 3.2、精准定位
• 4、一些应用
• • 4.1《王者荣耀》AR相机
  • 4.2、AR测量
• 5、发展趋势

1、引入

“增强显示”（AR）是一种将虚拟虚拟警务或信息无缝融入现实环境的技术。定位于地图构建技术（SLAM）可以在未知环境中定位自身方位并构建环境地图，保证虚拟物体叠加在现实环境中的几何一致性。

2、挑战

目前AR在小尺度场景下已经完成比较成熟了，但是由于大尺度场景中高精度定位问题，AR在大尺度场景下依然挑战很大。

关于定位，如果使用GPS定位，精度一般只有10m左右，不能满足需求。通过WIFI、蓝牙等辅助定位，需要提前布置，成本也高，并且一般也只能到米级定位。

而视觉定位只需要预先对环境拍摄采集，就能实现分米级甚至是厘米级的定位精度。

是否意味着一个定位的流程可以是：

GPS等粗级定位(米级)—>视觉方式精定位（厘米级）–>SLAM优化超精定位（低误差）

但是基于视觉的定位也有其挑战：1）依赖视觉特征。对于缺乏纹理等特征的场景，效果不好。2）当场景变化快时，难以及时更新，计算量大。

3、SenseAR的关键技术

3.1、稀疏点云地图构建

该地图构建主要利用离线采集的视频或图片，提取其中的视觉特征并进行匹配，从而恢复出稀疏三维点云。

视觉特征和三维点云主要用于视觉重定位，而在此基础上利用相机位姿可以构建稠密三维几何（处理碰撞检测和遮挡等问题）。

3.2、精准定位

关键是要实时、准确获取相机姿态 。

解决方式是视觉重定位和SLAM技术耦合实现：
1）：将终端拍摄的图片传至云端，在云端抽取的特征与地图数据中的特征匹配，计算相机位姿。
2）：终端接受定位结果和相关信息，将其耦合到SLAM优化目标中。

实现在大尺度场景下的长时间和高精度定位与跟踪。

4、一些应用

4.1《王者荣耀》AR相机

将王者荣耀中人物放置在真实环境中。

实现这个AR相机功能，就需要实时准确地恢复摄像头的六自由度位姿和目标场景的平面，才能确保英雄模型精准地放置在目标位置，不会漂移，即使用户从不同视角观看也不会有违和感，这就需要用到SLAM技术。

4.2、AR测量

生活中，我们经常需要测量物体的实际长度、角度和面积等。商汤科技的SenseMatrix AR测量技术通过将视觉、惯性和深度传感器信息有效融合起来，可以为带后置深度摄像头的手机提供精准可靠的AR测量能力。

单目视觉惯性 SLAM 技术有一些局限性，比如初始化通常需要较充分的运动、速度较慢，而且在弱纹理区域难以准确计算深度。SenseMatrix AR 测量在单目视觉惯性的基础上进一步融合了 ToF深度数据进行优化，可以有效克服这些问题，在测量的精度、范围和稳定性等方面都有明显的提升。用户拿着手机无
需刻意做特别的运动，测量系统亦能迅速完成初始化，精准地测量所拍摄场景的三维结构，而且对环境和用户操作的要求都较低，只需要点击屏幕就可以轻松完成对各种物体的长度、角度和面积的测量。

5、发展趋势

好。