admin管理员组文章数量:1577561
文章目录
- 概
- 主要内容
- 代码
Rade R. and Moosavi-Dezfooli S. Helper-based adversarial training: reducing excessive margin to achieve a better accuracy vs. robustness trade-off. In International Conference on Machine Learning (ICML), 2021
概
本文认为普通的对抗训练会导致不必要的adversarial margin从而牺牲过多的精度.
于是提出一种Helper-based adversarial training (HAT)来帮助网络学习.
主要内容
作者认为, 一个样本
x
\bm{x}
x沿着一个方向
r
^
\hat{\bm{r}}
r^的margin可以按照如下方式定义:
μ
(
x
,
r
^
)
=
arg
min
α
∣
α
∣
s
.
t
.
F
(
x
+
α
r
^
)
≠
F
(
x
)
,
\mu(\bm{x}, \hat{\bm{r}}) = \arg\min_{\alpha} |\alpha | \quad \mathrm{s.t.} \: F(\bm{x} + \alpha \hat{\bm{r}}) \not = F(\bm{x}),
μ(x,r^)=argαmin∣α∣s.t.F(x+αr^)=F(x),
其中
F
(
x
)
=
arg
max
k
f
k
(
x
)
F(\bm{x}) = \arg\max_{k} f_k(\bm{x})
F(x)=argmaxkfk(x)为预测类别.
x
\bm{x}
x的对抗方向, 可以定义为:
r
i
=
δ
∥
δ
∥
,
δ
=
max
∥
δ
∥
≤
ϵ
ℓ
(
y
i
,
f
θ
(
x
i
+
δ
)
)
.
\bm{r}_i = \frac{\delta}{\|\delta\|}, \: \delta = \max_{\|\delta\|\le \epsilon} \ell(y_i, f_{\theta} (\bm{x}_i + \delta)).
ri=∥δ∥δ,δ=∥δ∥≤ϵmaxℓ(yi,fθ(xi+δ)).
某种意义上就是最短路径.
作者通过实验发现, 对抗训练会使得样本的对抗方向
r
i
\bm{r}_i
ri变得不必要得大, 这会导致自然精度的严重下降.
如下图所示, 其实蓝色的决策边界已经足够保证鲁棒性, 而对抗训练会使得决策边际变成红色. 所以作者通过
x
+
2
r
\bm{x} + 2\bm{r}
x+2r喂入普通网络得到一个预测标签
y
~
\tilde{y}
y~, 利用这个来告诉对抗训练的网络, 其实这个margin不必这么大. 这相当于前后各限制了一个条件.
最后的算法如下:
代码
原文代码
本文标签: BasedHelperTrainingADVERSARIAL
版权声明:本文标题:Helper-Based Adversarial Training 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dianzi/1727798754a1130580.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论