CXPlain: Causal Explanations for Model Interpretation under Uncertainty

admin管理员组

文章数量:1609899

文章目录

• CXPlain: Causal Explanations for Model Interpretation under Uncertainty（不确定性下的模型因果解释）
• • 现有方法
  • 问题定义
  • 因果解释模型（CXPlain）
  • 因果关系的目标
  • 因果关系解释模型
  • 不确定度重要性估计
  • 试验部分
  • • 量化特征重要性估计中的不确定性

CXPlain: Causal Explanations for Model Interpretation under Uncertainty（不确定性下的模型因果解释）

思路：将为机器学习模型的决策提供解释的任务作为因果学习任务，并训练因果解释(CXPlain)模型，以便在另一个机器学习模型中估计某些输入导致的输出
贡献：

1. 引入因果解释(CXPlain)模型，这是一种新的学习方法，用于准确估计任何机器学习模型的特征重要性。
2. 提出了一种基于bootstrap重采样的方法来对CXPlain提供的特征重要性分数进行不确定性估计。
3. 我们的实验表明，CXPlain比现有的不确定模型的方法(在评估时)更准确，速度也更快，而且它所分配的特征重要度分数的不确定度估计数与以前未见的测试数据上所提供的重要度分数的准确性密切相关。

现有方法

都是一些解释模型常用的方法：比如基于梯度的方法，量化模型对输入敏感性的方法（LIME，SHAP），测量去除特征后模型置信度变化的方法，模拟模型的方法（代理模型）

从这个图片可以看出来，该篇所述模型具有各种优点，我们一起来看看究竟是怎么实现的

问题定义

预测模型 f ^ \hat f f^​，输入 X X X包含 p p p个特征或者特征组，输出 y ^ ∈ R k \hat y \in \mathbb R^k y^​∈Rk，预测模型根据目标函数： y × y ^ → s y×\hat y\rightarrow s y×y^​→s计算出loss s ∈ R s \in \mathbb R s∈R，不需要了解模型做了什么。同时给出样本协变量X和输出y作为训练数据，目标是训练一个解释模型 f ^ e x p \hat f_{exp} f^​exp​产生准确估计 A ^ \hat A A^，其中的每个 a i a_i ai​对应于预测模型对于特征 x i x_i xi​的权重。

因果解释模型（CXPlain）

这种灵活的框架的优点,我们不需要再训练或调整预测模型 f ^ \hat f f^​解释其决策。为了训练解释模型，我们使用一个因果目标函数来量化单个输入特征或一组输入特征对预测模型准确性的边际贡献。从本质上说，这种方法将为给定的预测模型生成特征重要性估计的任务转换为一个监督学习任务，我们可以用现有的监督机器学习模型来解决这个任务。

因果关系的目标

要训练一个因果关系模型，必须知道优化的目标，最初的目标是专家来指定的，这里作者作者定义的因果关系目标是由格兰杰定义的，定义一个因果关系 x i → y i x_i \rightarrow y_i xi​→yi​，如果如果我们使用所有信息，比刨除 x i x_i xi​能更好的预测 y ^ \hat y y^​。这样的关系基于两个假设：（1）我们的一组可用变量X包含了所建模的因果问题的所有相关变量（2） x i x_i xi​在时间上领先于 y ^ \hat y y^​。在一般的设置下，这些假设都不能从观测数据中得到证实，但是在这里我们模型先天的通过输入产生输出和预测输出，所以我们可以使用定义来衡量一个输入特征对于模型 f ^ \hat f f^​预测表现的边际提升。

定义 ε X { i } \varepsilon_{X\\\{i\}} εX{i}​为不包括特征 x i x_i xi​时模型产生的误差， ε X \varepsilon_X εX​是模型考虑全部输入时的模型误差

这里有很多方法来产生 X ∖ { i } X\setminus\{i\} X∖{i}，比如可以置为0或者取 x i x_i xi​的平均值

然后计算 ε X { i } \varepsilon_{X\\\{i\}} εX{i}​，和 ε X \varepsilon_X εX​

定义 x i x_i xi​关于模型预测误差减少的贡献为上述两个error的差值：

最后正则化权重，并约束 w i ∈ [ 0 , 1 ] 且 ∑ i w i = 1 w_i \in [0,1]且\sum_iw_i=1 wi​∈[0,1]且∑i​wi​=1

然后就可以得到因果目标函数 L c a s u a l = 1 N ∑ l = 0 N − 1 K L ( Ω X l , A ^ X l ) L_{casual}=\frac {1}{N}\sum^{N-1}_{l=0}KL(\Omega_{X_l},\hat A_{X_l}) Lcasual​=N1​∑l=0N−1​KL(ΩXl​​,A^Xl​​)，这里的 Ω \Omega Ω是实际计算出来的 w i w_i wi​分布， A ^ \hat A A^是预测模型对于 w i w_i wi​分布的估计 a i ^ \hat{a_i} ai​^​
（这里作者采用的方法很类似于SHAP，或者假定特征间独立分布，计算边际贡献时，没有考虑到特征组间的相互作用）

KL为KL散度，度量两个分布 w i ( X ) 和 A ^ ( i ) = a ^ i w_i(X)和\hat A(i)=\hat a_i wi​(X)和A^(i)=a^i​之间的距离,然后就可以使用有监督的方法来对解释模型进行训练
但是这里也引出了一个问题，对于高维数据要如何选择特征？：作者在这里以图片举例，可以使用非重叠的图片区域用作我的特征组，这样可以大大缩小特征数量（但是我觉得选择合理特征组也是对于解释性很重要的一点，是根据人为选择，还是根据规则来调控，这里文章没有给出我们答案）

因果关系解释模型

理论上，任何的能够自定义训练目标的机器学习模型都能够用于因果解释模型的建立，这里主要关心深度神经网络的解释模型，因为对于不同任务，能够从高维特征中提取高级特征表示，所以对应于图像使用卷积，对于文本应用注意力RNN等，后有试验结果比较了使用深度模型和使用单层或者多层感知机的结果。

不确定度重要性估计

提供了一种用于量化CXPlain预测出的权重 a ^ i \hat a_i a^i​的不确定度估计 u i u_i ui​，这里在为每个特征赋予权重 a i a_i ai​的可信度 γ = 1 − α \gamma =1-\alpha γ=1−α的情况下，置信度区间 C I i , γ = [ c i , α 2 , c i , 1 − 2 α ] CI_{i,\gamma}=[c_{i,\frac {\alpha}{2}},c_{i,1-\frac {2}{\alpha}}] CIi,γ​=[ci,2α​​,ci,1−α2​​]，这里确定了置信区间的上下界，这里 C I i , γ CI_{i,{\gamma}} CIi,γ​的区间宽度 u i = c i , 1 − α 2 − c i , α 2 u_i=c_{i,1-\frac {\alpha}{2}}-c_{i,\frac {\alpha}{2}} ui​=ci,1−2α​​−ci,2α​​可以用于量化 a ^ i \hat a_i a^i​的不确定度

为了训练因果解释模型的bootstrap ensemble，我们首先从原始训练集中随机抽取 N N N个训练样本 X X X。然后，我们使用前面提到的因果目标训练一个解释模型，直到在训练集的选定子集上收敛。我们重复此过程M次，以获得M个解释模型的bootstrap ensemble（附录B中的算法）。我们使用bootstrap ensemble的属性 a ^ i \hat a_i a^i​的中位数作为bootstrap ensemble的权重，并将 α 2 \frac{\alpha}{2} 2α​和 1 − α 2 1-\frac{α}{2} 1−2α​分位数分别作为CI的上下限。bootstrap sample

试验部分

1. CXPlain的特征重要性估计性能与现有的最新方法相比如何？
2. CXPlain的计算性能与现有的与模型无关和特定于模型的特征重要性估计方法相比如何？
3. 通过CXPlain模型的自举重采样计算的不确定性估计是否与它们准确确定特征重要性的能力在质量和数量上相关联？

mask掉一些由解释模型判定为重要性高的像素点后产生的效果
计算 Δ l o g − o d d s \Delta log-odds Δlog−odds计算mask前后模型预测结果概率p的差值，越大越好，说明mask掉了关键的部分

量化特征重要性估计中的不确定性

为了定量定性研究由解释模型得到的特征权重，分析了在不确定的MNIST测试样本上，其不确定性估计 u i u_i ui​是否与特征重要性估计中的误差相关。为了确定bootstrap ensemble数量如何影响CXPlain模型的自举集合的不确定性估计性能，我们评估了M个bootstrap ensemble模型。同时采用随机选择不确定估计值作为baseline
因为不知道特征权重真实值，所以用特征排名误差来进行估计定义特征排名误差：

其中 r a n k b ( i ) rank_b(i) rankb​(i)定义了 x i x_i xi​的顺序（从0到p-1）在b的条件下，其中 Δ l o g − o d d s ( i ) \Delta log-odds(i) Δlog−odds(i)代表真实值排名（即消除某个像素后结果的改变量，而 f ^ e x p \hat f_{exp} f^​exp​代表解释模型关于 x i x_i xi​的预测）

这里选取置信度为90%，不确定估计 u i = c i , 95 % − c i , 5 % u_i=c_{i,95\%}-c_{i,5\%} ui​=ci,95%​−ci,5%​，在MINIST上选取测试集中的100张未见过的样本，如果我们的不确定性估计被很好地校准，我们将期望看到不确定性估计 u i u_i ui​和排列误差 R E i {RE}_i REi​的大小之间的高度相关性，因为这将表明不确定性估计 u i u_i ui​精确地量化了特征重要性估计在以前看不到的样本图像上的可信度。（这里需要仔细理解一下，主要通过采样之间的关系来判断不确定性估计的准确度。

创新和总结：主要通过训练一个因果解释模型通过样本采样来预判属性重要性，关键是采取了bootstrap sample方法，可能在一定程度上能够很好地表示样本的真实分布，同时能够给出不确定性分数，从而能够在解释不符合预期时及时发现。（这里假设模型对于特征利用的重要性也符合一定的分布，从而通过监督训练的方式来估计模型参数重要性，然后使用bootstraps sample来估计模型总体特征重要性分布）。

本文标签： explanationsCausalCXPlainUncertaintyinterpretation