admin管理员组

文章数量:1639206

信息瓶颈（Information Bottleneck，IB），是一个比较朴素的思想：当面对一个任务，应用试图用最少的信息来完成。这和 “最小熵系列”类似，因为信息对应着学习成本，我们用最少的信息来完成一个任务，就意味着用最低的成本来完成这个任务，这意味着得到泛化性能更好的模型。

把所有那些对工作有帮忙的判断性信息全提取进去，同时又过滤掉冗余性的信息。

信息瓶颈的原理

为什么更低的成本/更少的信息就能得到更好的泛化能力？

比如在公司中，如果要为每个客户都制定一个解决方案，派专人去跟进，那么成本是很大的；如果能找到一套普适的方案来，以后只需要在这个方案基础上进行微调，那么成本就会低很多。

“普适的方案” 是因为我们找到了客户需求的共性和规律，所以很显然，一个成本最低的方案意味着我们能找到一些普适的规律和特性，这就意味这泛化性能。

在深度学习中，我么能利用 ”变分信息瓶颈“（VIB）Variational Information Bottleneck来体现这一点。

原理

查看reference

结果观察与实现

相比原始的监督学习任务，变分信息瓶颈的改动是：

1. 引入了均值和方差的概念，加入了重参数操作

2. 加入了KL散度为额外的损失函数

跟VAE如出一辙

Reference

本文标签： 瓶颈信息informationBottleneck

版权声明：本文标题：Information Bottleneck 信息瓶颈 内容由热心网友自发贡献，该文观点仅代表作者本人， 转载请联系作者并注明出处：https://www.elefans.com/dongtai/1729277761a1193717.html， 本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容，一经查实，本站将立刻删除。