【文献翻译】综述：机器学习可解释性

admin管理员组

文章数量:1609902

原文链接：Review Study of Interpretation Methods for Future Interpretable Machine Learning

Abstract

近年来，黑箱模型因其精度高而得到迅速发展。平衡可解释性和准确性越来越重要。可解释性的缺乏严重限制了该模型在学术界和工业界的应用。尽管可解释的机器学习方法多种多样，但解释的视角和意义也各不相同。我们回顾了当前可解释的方法，并根据所应用的模型对其进行了划分。我们将其分为两类：具有自解释模型的可解释方法和具有外部协同解释的可解释方法。将具有外部协同解释的解释方法进一步分为基于实例的分支方法、SHAP方法、知识图方法、深度学习方法和聚类模型方法。分类的目的是帮助我们更好地理解可解释方法中应用的模型特征。这使得研究者更容易找到一个合适的模型来解决解释性问题。对比实验有助于发现不同方法的互补特征。同时，探讨了可解释机器学习的未来挑战和发展趋势，以促进可解释机器学习的发展。

Introduction

Motivation

越来越多的机器学习系统由于其高效的计算能力和高精度而被应用于许多领域。其中许多算法都有很好的性能，如Google推出的NASNet[1]体系结构在大规模图像分类识别中的应用。在验证集上的预测准确率为82.7%。然而，随着神经网络（NN）和深度学习（DL）的迅速发展，这种由复杂过程训练的神经网络模型就像一个黑匣子，很难理解为什么它能如此有效地工作。我们只知道该模型经过训练后可以给出一个预测结果。正确的预测只能部分解决最初的问题，有时你需要知道为什么模型会做出这种预测。

可解释的机器学习方法帮助我们解决问题。给出了黑箱模型的依据(evidence)。解释性机器学习方法的必要性如下：

1. 协调知识结构各要素之间的矛盾或不一致。当模型结果偏离人们理解的方向时，需要一个解释来说明人类认知和机器行为之间的矛盾。

2. 对于一些新兴的领域，如自动驾驶汽车和医疗人工智能，可解释性是必不可少的。缺乏对机器学习系统决策过程的理解和验证是这类领域的一个严重缺陷。

3. 让模型更可信。人们需要知道为什么模型在实践中会产生某种结果，尤其是在高风险领域。有时分类器可能导致先入为主。人们想知道哪些特征放入用于做出决策的模型中，以及这些特征是否正确，以便人们相信该模型。

Literature Review

为了填补可解释机器学习的空白，研究者们从不同方面总结了可解释机器学习的方法。一些参考文献强调了术语在可解释性方面的区别。现有的工作包括澄清与可解释性相关的概念，区分“interpretability”和“explainability”。

在可解释评价(interpretability assessment)领域，Mohseni等对可解释性机器学习中使用的评价方法[4]进行了全面综述。在此基础上，提出了一个PDR(Prediction, Description, Relevant)框架[5]来评价可解释性，讨论了基于该框架的技术分类和相应的应用。Chakraborty等人[6]讨论了DL领域的可解释维度，并对这些维度上的可解释方法进行了分类。对于可解释性方法的分类，大多数文章都是基于固有的(intrinsic)可解释性模型和事后解释(Post-hoc explanation)[7]，[8]。[7]的研究阐述了可解释方法对社会发展的影响，[8]进一步将可解释方法分为全局和局部两个方面。Guidotti[9]将黑盒模型问题定义为四类，并详细描述了每种类中不同的可解释方法。

Contributions

现有的可解释方法的分类主要集中在固有的可解释模型和事后解释两类。这种分类的主要考虑是获得解释的时间，它忽略了构建解释的模型的特征。因此，我们提出一个新的方面来分类和调查现有的解释性研究。基于可解释方法中所应用的模型，本文将可解释方法分为自解释模型(self-explanatory model)可解释方法和外部协同(external co-explanation)解释方法。

带有自解释模型的可解释方法的思想利用现有的可解释模型来构建黑盒模型的局部或全局近似来实现解释。一般来说，典型的可解释模型包括线性回归、逻辑回归、决策树和决策规则。不同的可解释模型有各自的适用领域。例如，决策树模型比线性模型更适合于非线性数据拟合。

另一方面，具有外部协同解释的可解释方法是以特定的方式解释黑盒模型。特定性主要体现在从黑箱模型中探索可解释的意义，用特定的方法或数据来解释黑箱。一些传统学科和新兴领域的内容在可解释机器学习中起着很大的作用。例如，Shapley值是基于博弈论的，而扩展方法SHAP可以很好地解释个体预测结果。知识图(KG)给出了合理的预测路径。

此外，一些代表性数据还有助于理解和调试黑盒模型。这些具有外部共同解释的可解释方法通常能够在指定的场景下对黑盒模型提供更适当的解释。因此，将外部协同解释的可解释方法分为以下三个维度，主要包括用数据实例解释黑箱模型、用具体方法解释黑箱模型(本文以SHAP和KG为例)、以及对黑箱模型本身的解释(本文以深度学习和聚类模型为例)。

这种划分的优势在于它突出了不同领域的特点，为机器学习中的问题找到了更好的解决方案。此外，从模型的角度对可解释方法进行分类，扩大了模型在不同研究领域的应用范围。KG以其推理能力和语义丰富度在迁移学习和推荐系统的可解性研究中发挥着重要作用。将广义可加模型与树形模型相结合，对黑箱模型进行解释，扩大了可解释方法的应用范围。该划分为可解释机器学习领域提供了一个新方向。

II. Interpretable methods with the self-explanatory model and specific scheme

实现可解释性的一个简单方法是直接使用可解释的模型。可解释的模型包括线性回归和决策树/规则[10]。它们对人类来说更加透明和容易理解。线性方程在模级(即权重)[11]上具有易于理解的解释。然而，它通常需要强大的统计假设，在多类分类任务中表现较差。

决策树/规则更好地解决了分类的解释问题。决策树对数据进行多次拆分，根据特征属性排列成层次树状结构。决策规则主要是IF-THEN语句，它足以满足决策的需要。它们卓越的解释能力可以归因于对人类决策的模仿。

在传统可解释方法的基础上提出了许多可解释方法，并对其进行了扩展，取得了良好的效果。同时，在可解释性领域也出现了一些具体的方案。它们拓宽了可解释性研究的领域，是未来发展的新方向。下面简要说明几种具体的解释方法。

首先，基于样本的解释(explanation)从数据集中选择特定的样本来解释黑盒模型[11]的行为。有影响力的例子往往能够从数据分布中对模型提供有意义的解释。在第5节中，构建了具有影响力的例子的比较实验，详细解释了这些例子如何帮助研究人员理解黑箱模型。

第二，SHAP (Shapley Additive interpretation)在可解释领域发挥着重要作用。Shapley值是SHAP方法的前身。Shapley值，一种来自合作(coalitional)博弈论的方法，是对任何机器学习模型的单个预测计算特征贡献的解决方案。提高了Shapley值的计算速度，并在此基础上进行了创新。通过计算每个特征对预测的贡献来解释实例的预测。参考文献[11]解释了哪些理论为SHAP的解释提供了可靠的依据。

第三，使用KG的可解释机器学习方法正在增加。KG是语义网和链接数据方法的产物，它由一组相互关联的实体和属性[12]组成。一组SPO(subject, predict, object)三元组由KG组成，每个三元组表示一个事实。与传统的知识表示方法相比，知识表示方法具有规模大、语义多样的特点。它的结构对人类也很友好。概念、属性和关系是理解和认知的基石。人类认识世界和理解事物的过程就是用概念、属性和关系来解释世界的过程。这就是为什么KG提供了可解释性的基础。

最后，DL模型是一个经典的黑盒模型。它通过深化网络的隐含层，调整内部节点之间的互连来解决复杂的决策问题。为了研究DL模型的可解释性，研究者从模型本身探索可解释的含义。这为神经网络的可解释方法提供了一种思路。例如，在解决分类问题时，单元特征与可理解的解释语义是否存在对应关系，其中哪一部分特征在图像分类中起着重要的作用。与其使用自解释模型的近似值来解释，不如探索模型本身，这更符合模型对问题的理解。

此外，在聚类模型中，类之间的距离信息往往有助于我们达到解释的目的。最后，结合聚类模型的特点，补充了可解释方法。

我们将可解释机器学习方法分为具有自解释模型的可解释方法和具有外部协同解释的可解释方法，如图1所示。在此基础上给出了详细的分类结构。还列出了一些方法的名称。

III. Interpretable methods with the self-explanatory model

由于线性模型和决策树/规则模型处理特性不同，我们将具有自解释模型的可解释方法分为两类：基于决策树/规则的方法和基于线性的方法。这些构建的可解释方法既可以是全局可解释的，也可以在做出单独预测时提供解释。因此，这些方法有两种解释方式，即全局和局部。

此外，决策树/规则的结构使得从全局角度多元构建可解释模型成为可能。从模型中抽象出一组决策规则的解释不同于显式地构造一组决策规则的解释。因此，我们对基于决策树/规则的可解释方法进行了细分。

Interpretable methods based on linear model

1. Global perspective</

本文标签： 解释性文献机器习可