Identifying Bad Software Changes via Multimodal Anomaly Detection for Online Service Systems

Software Changes via Multimodal Anomaly Detection for Online Service Systems"/>

Identifying Bad Software Changes via Multimodal Anomaly Detection for Online Service Systems

清华裴丹团队的论文：论文地址
demo：

为了识别软件变更中的问题，文章提出了一种叫“SCWarn”的方法，方法的主要思想是利用多模态学习，从异构数据源中识别异常。用商业银行的真实数据进行了试验验证，同时在两个数据集（Train- Ticket [65] and E-commerce [18]）进行了实验，该方法的 F1-score 可以达到0.95。

服务发布后进行变更检测，现有变更检测工作主要是采用异常检测（或变化点检测）算法来检测部署后业务KPI是否存在异常行为。对于异常检测，主要有针对KPI和日志的异常检测，现有的异常检测算法或工具并非专门用于识别变更中的异常。相比于现有的方法，SCWarn 集成了涉及软件变更的多源数据，并采用多模态异常检测，实现了比现有工作更好的性能。

主要的挑战

1、缺乏足够的异常标记数据，此外，不同的异常变更往往会在不同的数据上表现出不同的异常模式。 因此，监督学习方法无法使用。
2、如何从软件变更涉及的异构多源数据中，准确提取有用信息，进行异常检测。

该方法存在的缺陷：

1、软件变更中的“无声事件”很难被检测。如隐藏在很少使用的函数中的代码缺陷，可能会在很长一段时间内未被发现。SCWarn 是数据驱动的方法，依赖于被监测指标的异常模式，如