FC-CRF: Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

Inference in Fully Connected CRFs with Gaussian Edge Potentials"/>

FC-CRF: Efficient Inference in Fully Connected CRFs with Gaussian Edge Potentials

参考: /ahnu120705097/article/details/78913675

Abstract

传统的图像分割和标记技术是在像素或者图片区域上定义CRF. 虽然区域模型上通常有密集的成对连通性, 但是像素级别的模型一般只允许用在稀疏图结构. 本文是在整个图像上运用全连接的CRF模型(FC-CRF). 结果CRF图模型的边非常多, 不能使用传统方法. 本文主要贡献是用近似算法推断FC-CRF模型, 其中成对边缘的势能由高斯核的线性组合定义.

 

1 Introduction

多类图像分割和标记普遍的方法是定义在全部像素或者图片块上的CRF的最大后验概率. CRF势能包含平滑项, 可最大化相似像素之间的标签一致性, 并可集成更精细的术语, 用于模拟对象类之间的上下文关系。

基本的CRF模型是由单个像素或者图像块的一元势能和相邻像素或图像块上成对的势能组成. 结果导致图像内的相邻CRF结构的long-range连接能力被限制, 并且导致目标边界过度平滑. 以前的解决策略是结合图像区域上定义的分层连接和高阶势能, 但是效果也不好. 之前的FC-CRF的精准度受到了无监督分割的限制.

本文的算法基于CRF分布的平均场近似. 通过迭代来优化, 每步聚合其他变量信息更新单个变量. 本文展示了使用特征空间中的高斯滤波来执行FC-CRF中的所有变量的平均场更新. 下图为不同算法的执行效果.

2. FC-CRF模型

3 在CF-CRFs中的有效推理

算法是对CRF分布的平均场近似. 此近似法为近似推断产生了一个迭代的信息传递.关键观察结果是此模型中的信息传递可以用特征空间的高斯滤波器进行. 这使得本文能够高效的近似进行高位滤波. 减少了从二次到线性的消息传递的复杂性.

1. 平均场近似.

在补充材料中给出了上述等式的详细推导。这个更新等式引出了以下推理算法：

算法1中的每次迭代都执行了一个消息传递步骤，一个兼容性转换，和一个局部更新。兼容性转换和局部更新在线性时间内运行并且都是高效的。计算的瓶颈在于消息传递。对于每个变量，这一步需要计算所有其他变量的和，因此，一个简单的实现在变量N的数目上具有二次复杂度。接下来，我们将展示如何使用近似高维滤波来减少消息传递到线性的计算开销。 

2、 使用高维滤波的有效消息传递 

4 Learning

5 Implementation

 

 

6 Evalutinon

对于多类图像分割和标记我们在两个标准基准上评价提出的算法。第一个是MSRC-21数据集，这个数据集包含21个类别的具有相应ground truth标签的591幅尺寸为320×213的彩色图像。第二个是PASCAL VOC 2010数据集，这个数据集包含20个类别和一个背景类的尺寸接近500×400的1928幅彩色图像。使用公开的参数配置，将所提出的的方法与Shotten等人提出的邻接CRF和Kohli等人提出的鲁棒 CRF一同评价。为了保证一个公正的评判。所有的模型都使用了Section 5所述的一元势函数。所有的实验都是在一个2.80GHz的Intel i7-930处理器上完成。对于训练使用8个CPU核心；所有其他的实验都是在一个核心上完成。推断算法在一个单独的CPU进程中完成。