基于三维标定板的相机标定方法

48

传感器与微系统

(Transducer

and

Microsyslem

Technologies)

2021

年第

40

卷第

6

期

DOI

：

10.

13873/J.

1000-9787(2021)06-0048-04

基于三维标定板的相机标定方法

*

*

施佳豪

，

王庆

，

冯悠扬

(东南大学仪器科学与工程学院

，

江苏南京

210096)

摘要

：

针对传统平面相机标定方法中棋盘角点坐标维度信息缺失的问题,提岀一种基于三维标定板的

相机标定方法

。

在平面标定的算法基础上

，

利用角点的三维坐标计算相机的内参系数。

根据标定板角点

的世界坐标和像素坐标的对应关系

、

奇异值分解

(

SVD)

方法,求解相机的投影变换矩阵;再利用旋转向量

的性质计算出相机内参的初始值;最后运用非线性优化方法对所有的标定参数进行整体优化

。

实验结果

表明:相对于平面标定而言

，

三维相机标定方法的稳定性更好

，

标定结果更符合针孔相机模型的投影规律

。

关键词

：

针孔相机

；

标定

；

奇异值分解

；

非线性优化

中图分类号

：

TP391.4

文献标识码

：

A

文章编号

：

1000-9787(2021)06-0048-04

Camera

calibration

method

based

on

3D

calibration

plate

*

SHI

Jiahao,

WANG

Qing,

FENG

Youyang

(

School

of

Instrument

Science

and

Engineering

,

Southeast

University

,

Nanjing

210096,China)

Abstract

:

Aiming

at

the

problem

of

missing

comer

coordinate

dimension

in

traditional

camera

calibration

method

,

a

camera

calibration

method

based

on

three-dimensional

(3D)

calibration

plate

is

proposed.

Based

on

the

algorithm

of

plane

calibration

,

the

three

・

climensional

coordinates

of

the

corner

points

are

used

to

calculate

the

internal

parameter

of

the

camera.

According

to

the

correspondence

between

the

world

coordinates

and

pixel

coordinates

of

the

calibration

plate

corner

points

and

the

singular

value

decomposition

(

SVD

)

method

,

the

projection

transformation

matrix

of

the

camera

is

solved,

and

the

initial

value

of

the

camera

internal

parameters

is

calculated

by

the

properties

of

the

rotation

vector

・

Finally

,lhe

nonlinear

optimization

method

is

applied

to

optimize

all

the

calibration

parameters.

The

experimental

results

show

that

the

stability

of

the

3D

camera

calibration

method

is

better

than

the

plane

calibration,

and

the

calibration

parameters

are

more

in

line

with

the

pinhole

camera

model

.

Keywords

:

pinhole

camera

；

calibration

；

singular

value

decomposition

(

SVD)

；

nonlinear

optimization

0

引言

随着计算机视觉的不断发展

，

相机标定成为了一项十

分重要的议题

。

相机标定在三维世界和相机成像平面之间

而限制了其的标定精度

。

本文在张氏标定方法的基础上,提出一种基于三维棋

盘格的相机标定方法

，

并通过实验对比证明此种方法能提

升相机标定的稳定性和准确性

。

1

张氏相机标定模型与方法

1.1

针孔相机模型

建立了对应关系

，

以辅助处理视觉计算

、

三维重建

、

目标识

别等计算机视觉问题

。

在某些应用领域

，

相机标定将直接

影响视觉测量精度的高低

。

例如

，

在视觉即时定位与地图

木勾建

(

simultaneous

localization

and

mapping

,

SLAM

)

1

'

3

中

，

相机标定过程中常用的相机模型有针孔相机模型

、

全

相机标定的精度直接决定了相机位姿和地图点的估计的准

确度，

从而也会对后续的优化迭代算法产生影响

。

因此选

向相机模型

、

双球相机模型等

。

张氏标定方法中采用的是

针孔相机模型

，

该模型示意图如图

1

所示

。

现实世界的空

间点

P,

经过相机光心

。

投影后

，

落在物理成像平面上

，

成

用适当的相机标定方法尤其重要

。

常用的相机标定算法有很多

［

4

~

61

,使用最为广泛的是

像为

P

。

针孔相机模型中涉及

4

个坐标系

：

世界坐标系

、

相机坐标系

、

图像坐标系

、

像素坐标系⑻

。

假设点

P

在世

界坐标系下的齐次坐标

P

”

为(孔

，

兀,

z

”

,l),

经过旋转变换

和平移变换过后可得点

P

在相机坐标系下的坐标,再根据

张氏标定方法⑺

。

该方法鲁棒性较好

，

操作简便,仅利用

一块平面棋盘标定板即可完成相机的完整标定

。

但方法中

由于标定角点均位于同一平面

，

使得坐标维度信息缺失

，进

收稿日期

：

2019-11-14

*

基金项目

：

国家重点研发计划资助项目

(2016YFB0502103

);

国家自然科学基金资助项目

(

61601123

)

；

江苏省自然科学基金资助项目

(BK20160696)

第

6

期

施佳豪

,

等:基于三维标定板的相机标定方法

49

光学投影关系可以获取成像点在图像坐标系中的坐标

，

最

后经过采样和量化得到对应的像素坐标系下的齐次坐标为

(

”

,

。

,

1)

。

完整针孔相机模型可以用式

(

1)

进行表示

71

o

V

=

。

八

兀

=KTP,

(1)

丿

1

。

0

1

丿]

U

丿

式中

S

为尺度因子;

K

为相机的内参矩阵,包含相机的固

有属性参数⑼

；T

被称为相机的外参矩阵

，

包含相机位姿变

换的旋转矩阵

R

和平移向量/

。

张氏相机标定方法选用平面棋盘格作为相机标定板

。

在标定过程中，

假定标定棋盘格所在的平面为世界坐标系

中

z”

=0

的平面

，

将棋盘格上的某一个角点设置为世界坐

标系的原点，

则理论上只要知道棋盘格每一个格子的尺寸

就能得出所有棋盘内角点的世界坐标

。

同时棋盘格内角点

的像素坐标可以通过图像处理的方法得出

，

从而借助于平

面单应性⑼

、

旋转矩阵尺度特性

、

非线性优化等理论求解

出相机的内外参数

，

并对其进行优化

。

在求解过程中

，

由于已经假定棋盘格上的所有点的

z

”

=0,

所以在使用平面棋盘格进行相机标定时,未使用

％

这一维度

，

导致在求解标定参数时忽略了部分有用信息

。

因此,使用该方法进行相机标定时

，

虽然简单易操作

，

但是

对于一些高精度的视觉应用领域来说

，

其精度还有进一步

提升的空间

。

因此

，本文在该方法的基础上,使用三维棋盘

格进行标定，

并验证该方法得出的标定结果更符合针孔相

机模型的投影规律

。

2

改进的三维标定算法

2.

1

相机内参求解

为了求解相机的内参矩阵

，

首先将式

(1)

中的

KT

矩阵

乘积用如下矩阵表示

%]

h

n

h

l3

h"

H

=

h2

i

h

22

^23

“24

(2)

将式

(

1)

按行展开可得

=

仏

1%

+办

12

兀+仏

32“

：

+/心

h

3lX

w

+爲

2

兀+人

33%

+鬲

y

=

人

--------------------------------------

21%

+人

22

儿+人

23

空的+人

24

人

31

%

+人

32

儿+心

.*

+爲

4

根据分析,

H

矩阵中有

12

个未知数

，因此至少需要

12

条方程求解

。

一对世界坐标和像素坐标的匹配点可以构建

式

(3)

中的两条方程

，

所以至少需要

6

对匹配点可以求解

出

H

矩阵

。

在实际求解过程中

，

为了排除测量噪声对求解

结果的影响

，

往往使用

。

对匹配点

5>6)

来结算

H

。

所以

需将式

(3)

以矩阵相乘的形式改写为其次方程组,再使用

奇异值分解

(

singular

value

decomposition

,

SVD

)

的方法'⑴

,

求解矩阵

同吋由式

(

1)

可知,

H

矩阵可以展开如下形式

*+c

為

+

c

*

R'32

fxR

13

+c

/

*

?33

f

x

t

x

+c

*

心

、

H=KT=

fyR-a

+Cy/?31

+

C

y^32

/

>

^23

+

C

)

^33

fyty

上

(4)

为了从中解出相机的内参系数,先假设像素坐标系的

原点位于图像的正中心

，

即

q

=a/2,c

y

=6/2,

其中a,b

分

别为相机获取图像的长和高

。

借助

H

矩阵的第三行

，

消去

第一

、

二行中的

q

和勺,得到如下矩阵

昵

h%

尿八

H'=

/

局

Z

«22

j

他

f/y

=

/^21

h

‘

22

h^23

/^24

(5)

、

《

31

R32

R33

J

丿

已

1

%

h

33

丿

将

T

矩阵表示为列向量的形式

［

儿

，

「

2,

「

3,

门

，

其中前

3

列为旋转向量

。

旋转向量有两个约束条件

：

1)

旋转向量点

积为

0

；

2)

旋转向量模相等

，

均为

1

。

由此根据一张图像可

以列岀

5

条方程

r>2

=0,

仏

=0,rJr

3

=0,

弘=仏,晟

=rfr

3

(6)

以等式

「

卜

2

=0

为例,将其用

T

矩阵中的元素进行展开

R"

R12

+人

21

人

22

+尺

31

人

32

=

。

(

7)

根据式

(5)

可将式

(7)

改写为

齢尼

2

尹

+h

；

［

h

；

2

尹

+

僦届

2

=0

(8)

以此类推

，

则式

(6)

可以改写为如下矩阵形式

h

‘

2h

‘

22

h

‘

31

h

‘

32

、

/OA

h

h

h

a

h

2j

h

23

h

31^33

0

人

12

仇

13

人

22

人

23

人

32

人

33

0

(9)

h

心

11

—

h

n

,2

12

h

"21

，

2

"

22

h'

"31

2

-h'

32

2

0

'

h'

b

11

2

—

"

h

,2

13

A

,2

21

—

h'

23

2

L

/2

33

_

11

I

r2

33

丿

o

同样采用

SVD

的方法对式

(

9)

进行求解

，

从而算出力

和厶的值

。

2.2

非线性优化

获取相机内参后可以将内参系数代回式

(

4)

求取相机

的外参系数

，

并使用张氏标定文中的方法求解相机畸变模

型

。

由于在上文计算过程中对某些参数进行了近似估计,

所以上述结果并不能作为标定的最终结果

。

为了获取更为

50

传感器与微系统

第

40

卷

精确的结果，

使用非线性优化方法⑴

】

对相机的内

、

外参进

行优化

。

构建优化方程

n

min(

丫

||

局

，

唸)

『

)

(10)

*

=

|

式中

他再为畸变系数,〃为棋盘点的像素坐标,〃

'()

为

通过相机内外参和畸变系数计算像素坐标的函数。使用非

线性优化中的

L-M

方法对式

(

10)

进行不断迭代

，直至收

敛，

以此作为标定参数的最终结果

。

3

实验与结果分析

3.

1

实验设备与流程

为了验证上述方法得出的标定参数更符合针孔相机模

型的投影规律，

使用了如图

2(a)

所示的三维标定板对相机

进行标定实验

。

以三块平面的交点为原点,根据右手系原

则建立世界坐标系

。

为了提升测量精度

，

使用全站仪测出

每一个棋盘格内角点在世界坐标系中的坐标

。

实验所用均

为

7

x5

的棋盘格标定板

，

每个棋盘格子大小为

3

cm

x

3cm

o

标定相机如图

2(b)

所示

，

型号为

MYNTEYE

S1030,

分辨率为

752

X480,

像素尺寸为

6-O^m

x6.0

pm,

标定时

只使用该双目相机的左目图像

。

实验过程中

，

以标定板三块平面的交点为原点,根据右

手系原则建立世界坐标系

，

从而得出所有棋盘内角的世界

坐标

。

固定三维标定板

，

移动相机获取不同视角下的标定

板图像

，

每张图像需包含

3

张棋盘格的所有内角点信息

。

同时为了进行实验对比

，

用同样的方法仅获取三维标定板

中某一平面棋盘格的图像

，

用以进行平面标定实验

。

为了

排除棋盘格点数对标定结果的影响

，

在三维标定和平面标

定的过程中均只使用

12

个棋盘内角点进行计算

，

点的位置

由标定程序随机选取

，

且三维标定的

12

个点平均分布在

3

块棋盘平面上

。

标定程序借助于

OpenCV

框架实现

。

3.2

稳定性分析

为了验证本文提出的三维标定算法相比于平面标定算

法具有更高的稳定性

，

分别用该两种方法对相机进行

20

组

标定实验

，

得到标定参数的数值,根据式

(

11)

计算各个参

数的标准差

，

并绘制成图

3

所示的柱状图

。

图

3

(

a

)

对比了

相机内参系数Ms

实验数据的标准差大小,从中可

以看出

，

三维标定方法的标准差明显小于平面标定方法

。

图

3(b)

对比了畸变系数何

，

唸的标准差大小

，

从图中数据

可以看出

，

两种方法标定结果的标准差相差无几，

都具有很

高的稳定性

,

相比而言,

三维标定得出的标准差更小

。

综上

所述

，

无论是相机内参还是畸变系数,三维标定得出的结果

稳定性更强

图

3

标准差对比

3.3

准确性分析

由于相机内、

外参数的真值不容易获取

，

因此无法简单

地根据标定参数的数值大小判定标定结果是否准确

,

需要

额外设计合理的评价指标

。

本文使用

“

内符合重投影误

差

”

和

“

外符合重投影误差”

对标定参数进行评价

，

两者定

义如下

：

内符合重投影误差:利用标定得到的相机模型参数

，

将

标定过程中所使用到的

12

个点的世界坐标投影到像素坐

标系中得到新的像素坐标计算新的像素坐标与图

像处理提取的原始像素坐标

(

u

,

。

)之间的平均误差

。

外符合重投影误差:利用标定得到的相机模型参数

,

将

标定过程中所有未使用到的点的世界坐标投影到像素坐标

系中得到新的像素坐标计算新的像素坐标与图像

处理提取的原始像素坐标

(

u,u)

之间的平均误差

。

虽然在计算两种误差时

，

使用的像素点不同

，

但是均可

以用式

(

12)

进行表示,

计算结果单位为像素

e

=+

£

a

/(

u

'-

u

,

)2

+(v-

—

v

i

)

2

(12)

根据上述定义

，

计算

10

组标定结果的内

、

外符合重投

影误差

，如表

1,

并绘制图

4

所示柱状图

。

表

1

平面

、

三维标定的准确性对比

像素

平面内符合三维内符合

平面外符合

三维外符合

平均值

0.04153

0.005

970.057420.00455

最大值

0.08531

0.00647

0.09351

0.00475

a

O.

o

O.

8

10

O.

o

6

o.

08

O.

o

o.

a

06

4

04

02

O

2

o.

0

(a)

内符合

(

b)

外符合

图

4

内

、

外符合重投影误差对比

从图中可以明显看出

，

对于任一组实验数据

，

无论是内

符合重投影误差还是外符合重投影误差

,

三维标定的结果

都要优于平面标定,且对于三维标定而言，

平均外符合投影

第

6

期

施佳豪

,

等:基于三维标定板的相机标定方法

[4]

51

误差比平均内符合重投影误差更小

。表明三维标定方法

，

不仅能根据实验所用角点准确计算模型参数

，

同时能更好

杨冬•一种针对近景摄影测量的相机标定方法

[J].

经纬天

地

,2019(3)

：

79

-84.

[5]

地拟合其余角点的投影规律

。

因此

，

相对于平而标定

，

三维

标定获取的标定参数更符合针孔相机模型

。

4

结束语

陈科尹

，

邹湘军,关卓怀

，

等•基于混合蛙跳优化的采摘机器

人相机标定方法

[

J]

•

农业机械学报

,2019,50(1)

:

23

-34.

[

6

]

邹建成

,田楠楠•简易高精度的平面五点摄像机标定方法

[

J

]

•

本文基于张氏相机标定理论

，

提出了基于三维标定板

光学精密工程

,2017,25(3)

：

786

-791.

[

7

]

ZHANG

Z.

A

flexible

new

technique

for

camera

calibration

_

J

].

IEEE

Transactions

on

Pattern

Analysis

and Machine

Intelligence

,

2000,22(11)

：

1330

一

1334.

的相机标定方法

。

实验结果表明

：

使用三维棋盘格标定相

机

，

不仅能提升标定结果的稳定性

，

同时也能降低相机模型

的投影误差

，

所得标定结果更符合针孔相机的投影规律

。

本文仅验证了三维标定方法标定单目相机的优越性

，

在下

一步工作中,将使用该方法标定双目相机

,

并进行双目图像

[8]

贾星伟

，

殷晨晖,隋国荣•单目摄像机线性模型可靠性分析与

研究

[

J]

.

光学仪器

,2019,41(1):60 -67.

[9]

舒奇,黄家才•基于

Halcon

的机器人手眼标定方法研究

[J].

南京工程学院学报(自然科学版)

,2019,17(1):45

-49.

的匹配校正

，

验证三维标定方法在标定双目时的实用性与

准确性

。

参考文献

：

[1]

[10]

徐军

，

刘斌

，赵庆献•基于

SVD

的小尺度地质体地震绕射波成

像

[J].

物探与化探

,2019,43(5):1074-1082.

[11]

姜雪莹

，

郭颖

，

施惠元

，

等•基于

I'SA

多变量非线性

RBF

神经

张一

，

姜挺

，

江刚武

，

等•特征法视觉

SLAM

逆深度滤波的三

维重建

[J].

测绘学报

,2019,48(6):708

-717.

网络预测控制

[J]

•控制工程

,2019,26(9)

：

1655

-1660.

作者简介

：

[2]

杨梦佳•惯导-视觉

SLAM

技术综述

[J].

信息技术与信息化

，

2019(7)

：

213

-215.

施佳豪

(1996

-),

男

，

硕士研究生，

研究方向为视觉惯性紧耦

合定位技术

。

[3]

王金戈

，

邹旭东,仇晓松

，

等.动态环境下结合语义的鲁棒视

觉

SLAM[J].

传感器与微系统

,2019,38(5)

：

125

—

128,132.

王

庆

(1962

-),

男

，

教授

，

博士研究生导师

，

主要研究领域为

GNSS

理论与算法

.GNSS/INS

组合定位技术

。

(上接第

43

页)

[

10

]

KNAPP

C

,

CARTER

G.

The

generalized

correlation

method

for

estimation

of

time

delay

[

J

].

IEEE

Transactions

on

Acoustics

,

analysis

of

multicomponent

FM

signals

and

to

the

treatment

of

multiplicative

noise[

J

]

・

Signal

Processing,

1998

,67(1)

：

1

—

23.

[15]

ZHAO

S,YAN

S,XU

L.

Doppler

estimation

based

on

HFM

signal

Speech

,

and

Signal

Processing,

1976

,24(4)

：

320

—

327.

[11

]

HOFI

丿

NGER

F,

RUI

Z,

HOPPE

J,el

al.

Acoustic

self-calibra

­

for

underwater

acoustic

lime-varying

multipath

channel

[

C

]

〃

2019

IEEE

International

Conference

on

Signal

Processing,

Communications

and Computing

(ICSPCC)

,

IEEE,

2019.

ting

system

for

indoor

smartphone

tracking

(

ASSIST

)

[

C

]

〃

International

Conference

on

Indoor

Positioning

&

Indoor

Naviga

­

作者简介

：

张

磊

(1985

-),

男

，

博士

，

讲师

，

研究领域为室内定位技术的

研究与应用

。

tion

,IEEE,

2012

：

1

-9.

[12]

曹忠义.水下航行器中的声学多普勒测速技术研究

[

D]

•哈

何永刚

(

1978

-

)

，

男

，

博士研究生

，

高级工程师

,

研究领域为音

尔滨:哈尔滨工程大学

,2014.

[13]

BOASHASH

B.

Time-frequency

signal

analysis

and

processing

:

A

视频技术的研究与应用

。

胡志新

(1965

-),

男

，

博士

，

副教授

，

研究领域为无线网络传感

comprehensive

reference

[

M]

.

Amsterdam

:

Elsevier

,2003.

[14

J

BOASHASH

B

,

RISTIC

B.

Polynomial

time-frequency

distribu

­

tions

and

lime-varying

higher

order

spectra

:

Application

to

the

技术

。

范茂军

(1954

-),

男

，

通讯作者

，

博士

，

高级工程师，

研究领域

为微电子学与固体电子学

。

(上接第

47

页)

[11

1

CUI

S,CAO

Y,SUN

G,et

al.

A

new

energj

,

-aware

wireless

sensor

仿真

,2015,32(12)

：

246

-250.

[14]

邹佳宏•权重网络建模研究

[D].

武汉:华中科技大学

,2008

：

network

evolution

model

based

on

complex

network

[

J

J

.

EUR

­

14-17.

ASIP

Journal

on

Wireless

Communications

and

Networking,

作者简介

：

王传云

(1977

-),

男

，

副教授

，

主要研究领域为无线通信

,

微波

2018,2018(1)

：

1

-8.

[12]

JIANG

N

,

WAN

T,

LIU

L,

et

al.

Strength-constrained

weighted

evolution

model

for

wireless

sensor

networks

[

C

]

〃

Proc

of

the

IEEE

International

Conference

on

Advanced

Information

Networ

­

电路等

。

朱

涛

(1994-),

男

，

硕士研究生

，

研究方向为无线通信

，

复杂

网络技术等

。

尹

燕

(1978

-),

女

，

讲师

，

主要研究领域为无线通信

，

复杂网

king

and

Applications

,

IEEE

Computer

Society

,

Gwangiu

,

South

Korea

：

IEEE,2015

：

605

一

610.

络技术等

。

赵军辉

(

1973

-)

，

男

，

教授

，

主要研究领域为宽带无线和移动

[13]

王传云

，

尹燕•无线传感复杂网络拓扑控制研究

[J].

计算机

通信系统

，

移动边缘计算等

。