论文阅读：AAAI2022 Evaluating Explainable AI on a Multi

论文阅读：AAAI2022 Evaluating Explainable AI on a Multi"/>

论文阅读：AAAI2022 Evaluating Explainable AI on a Multi

任务：explainable AI (XAI) 可解释性探索，主要提出两个指标，可以代替医生对事后可解释性算法进行评估

目的：多模态医学影像中存在的clinically-important-but-technically-ignored , then define evaluation desiderata and metrics based on clinical requirements.

医生通常比较和结合特定模式的信息来推理诊断和鉴别诊断。例如，在一份关于 MRI 的放射学报告中，放射科医师通常会观察和描述 T1 模态的解剖结构，以及 T2 模态的病理变化, 通过结合来自不同 MRI 模式的信号来推断病变的组成。
依靠热图，热图需要做到突出重要模态和 定位模型预测的重要特征。现有的 XAI 方法通常不是为临床目的而设计的。在特征级别不忠实于模型决策过程，不良和不稳定的解释性能可能会导致临床环境中的不良后果。鉴于医生的心理模型假设完全忠实的解释，对模型决策质量指示的可信度评估应优先于合理性评估。未来的工作需要提出既忠实于模型决策的解释方法，并且合理性评估更能表明模型决策的质量。
PS：热图只是明确一些重要区域，不能完全解释模型预测的过程。决策树是可解释的模型代替神经网络。在深度学习之前，准确性和可解释性的黄金标准。

Introduction：
两个主要临床要求：解释如何忠实地描述 AI 模型的内部决策过程，以及人类对解释合理性的评估如何指示模型的决策质量。

本文提出了一种计算度量模态特定特征重要性（MSFI），它总结了上述关于多模态解释的临床模式。然后，对 16 种 XAI 方法进行了系统评估，这些方法涵盖了使用多模式 MRI 进行脑肿瘤分类任务中最常见的基于激活、梯度和扰动的方法。主要贡献是：
1. 对医学成像任务进行系统评估，包括定量和定性医师评估，以及基于解释真实性和合理性的基于计算评估的临床要求。结果表明，没有提出现有方法来满足特定于模态的医学成像解释的临床要求。
2. 制定并解决了多模态图像解释的新颖且具有临床意义的问题，因为它是单模态图像解释的广义形式。
3. 提出了计算评估指标 MSFI，它通过结合模态优先级和特征定位的临床模式来自动化人类评估过程。

Method：

首先找临床医生对热图进行评估：比如该图像上显著性区域和医生平时判断的主要依据是否一致？对临床医生评论的定性数据分析，提取了多模式解释的临床解释模式。 在解释多模态图像时，医生倾向于优先考虑给定任务的模态。除了描述模态重要性信息外，临床医生还期望热图能够正确定位对预测具有辨别力的特征。

评估Post-hoc XAI算法：

模型可解释方法综述_筱CV菌的博客-CSDN博客_可解释性综述

对抗样本(论文解读十三):机器学习模型可解释性方法、应用与安全研究综述_Enjoy_endless-CSDN博客

1）Modality Importance (MI)：优先考虑重要的模态，但它是一个粗略的测量，并没有检查每个模态中的特定图像特征

2）Modality-Specific Feature Importance (MSFI)：与 IoU 等其他 ground truth 相似性度量不同，MSFI 较少依赖热图信号强度或 ground truth 定位掩码的面积，这使其成为一个稳健的度量。

MSFI 的实际应用：提议的 MSFI 可以被视为医生手动评估热图质量的替代。通过自动量化人工评估，MSFI 帮助 AI 从业者自动化 XAI 算法选择/优化过程，以识别其合理性度量与模型决策质量高度相关的算法。 MSFI 可以应用于其他多模态医学图像任务。它需要一批测试数据上的特征掩码，这些数据可以由人工注释或训练模型生成。根据任务的不同，特征掩码可以是特定于模态的，也可以对所有模态都相同（如 BraTS 数据集的情况）。 MSFI 指标是解决临床上重要的多模态解释问题的第一步。