MVTec AD—A Comprehensive Real-World Dataset for Unsupervised Anomaly Detection 2019 CVPR

作者：Paul Bergmann

最大贡献：MVTec数据集

代码：

摘要

无监督异常检测方法的开发需要有数据来训练以及评估新的方法和想法。本文介绍了MVTec Anomaly Detection (MVTec AD)数据集，MVTec数据集包含5354张不同目标和纹理类型的高分辨彩色图像。它包含用于训练的正常（即不包含缺陷）的图像，以及用于测试的异常图像。异常有70种不同类型的缺陷，例如划痕、凹痕、污染和不同结构变化。此外，本文为异常提供了像素级精确的标签。本文还对目前最先进的基于深度结构的无监督异常检测方法进行了评估，例如卷积自动编码CAE、生成对抗网络GAN、基于预训练卷积神经网络的特征描述符以及传统的计算机视觉方法。MVTec数据集是第一个全面的、多目标、多缺陷并且提供像素级精确标签的异常检测数据集，关注于真实世界应用。

动机

由于缺乏缺陷样本或者不清楚哪种类型的缺陷会出现，异常检测任务必须用无监督算法来检测异常区域。**一种方法是通过测试一个网络是否能够检测一个新的输入数据是否与训练数据的分布相匹配来进行异常检测。然而，这种方法大多关注分类设置（分类数据集），参与训练的inlier数据和测试的outlier数据的分布差异很大。**通常将这类算法称为离群点检测或者单类分类检测。常见的评估方法是将数据集（例如MNIST、CIFAR-10和ImageNet数据集）中的一类或者多类设置为异常类别，作为测试数据，剩下的类设置为名义数据，并在名义数据上训练一个检测模型。在测试阶段，测试训练后的模型是否能够正确预测测试样本属于异常。

**虽然在图像层面上的分类很重要，但是在本文所说的异常检测任务上的性能如何是不清楚的。本文所说的异常检测任务指，在与训练图像非常接近并且只在可能非常小、有限的区域中存在细微的差别的图像中发现novelties。**要为这类具有挑战的场景开发机器学习模型，需要合适的数据集。目前，在无监督异常检测任务中还没有类似的数据集。因此，为了填补这一空白，本文引入了MVTec AD数据集，模拟真实世界的工业检测场景。MVTec AD数据集包含5354张来自不同领域的5种纹理和10种物体的高分辨图像，一共有73种类型的缺陷，为每张缺陷图像（一共有1888张）提供了像素级精确的标签。本文还在这个数据集上对无监督异常检测中先进的方法以及传统方法进行全面的评估，包括对异常图像的分割和分类性能。此外，本文提出了一种用超参数（最小异常面积以及异常二值决策阈值）确定图像中异常区域的方法，超参数是利用没有任何缺陷图像估计的。

缺陷类型：物体表面的缺陷（如划痕、凹痕）、物体部件变形等结构缺陷或缺少部件的缺陷。总共有73种不同类型的缺陷。

图像类型：RGB和灰度（灰度只有网格、螺丝和拉链3种）。

分辨率：700x700-1024x1024

评价指标

每种方法提供了一个单通道的空间图，其中大数值表示某个像素属于异常区域。为了得到最终的分割结果，并对每个像素进行二值决策，必须确定合适的阈值。本文提出了一种明确的方式，从一组随机选择的验证集（不参与训练）中估计阈值。对于每一种缺陷，本文定义一个最小缺陷面积，即在阈值化的异常图中，连通域必须大于最小缺陷面积才被分类为缺陷区域。对于每一种评估方法，本文用一个不断提高的阈值分割无缺陷验证集的异常图。当验证集上最大的异常区域刚好低于用户定义的面积时，停止分割。分割产生的阈值用于进一步的评估。

基于给定的阈值，本文评估每一种方法用于异常分类和分割任务的性能。为了评估分割性能，本文评估了the relative per-region overlap of the segmentation with the ground truth以及AUC。真正例率定义为正确分类为异常的像素比例。假正例率定义为错误分类为异常像素的比例。

结果

没有一种方法可以在所有物体和纹理类别中始终表现良好。

本文的缺点

1）仅根据一组无缺陷图像找到一个合适的阈值是非常困难的。2）最小缺陷面积是经验值。