论文笔记：A Survey of Clustering With Deep Learning: From the Perspective of Network Architecture

admin管理员组

文章数量:1568309

A Survey of Clustering With Deep Learning: From the Perspective of Network Architecture

• 1 摘要
• 2 介绍
• 3 准备工作
• • 1）前馈全连接神经网络
  • 2）前向卷积神经网络
  • 3）深度信任网络
  • 4）自编码（*）
  • 5）GAN & VAE（*）
• 4 深度聚类的研究
• • A、基于AE的深度聚类
  • B、基于CDNN的深度聚类
  • C、基于VAE的深度聚类
  • D、基于GAN的深度聚类
• 5 参考文献

1 摘要

本文通过对体系结构观点的深入学习，对聚类进行了系统的研究。 具体来说，我们首先介绍了初步的知识，以更好地理解这一领域。 。 然后，提出了一种具有深度学习的聚类分类方法，并介绍了一些具有代表性的方法。 最后，我们提出了一些有趣的未来机会，用深度学习聚类 并给出一些结论。

2 介绍

本文从网络体系结构的角度对深度聚类进行了研究。
1. AE自动编码器
使用自动编码器获得可行的空间特征，一个自动编码通过学习一个编码器和解码器，提供了一个非线性映射函数，其中， 编码器是一个要训练的映射函数，解码器必须能够从编码器产生的那些特征中重建原始数据
2. CDNN基于特定聚类的前馈网络
基于只受特定聚类损失训练的前馈网络，将这种类型的DNN称为聚类DNN(CDNN)。这一类别的网络体系结构可以非常深入，在大规模图像数据集上预先训练的网络可以进一步提高其聚类性能。
3. GAN生成式对抗网络
4. VAE变分自动编码器
3和4都是流行的深度生成式模型，不仅能聚类而且能从获得的簇中获得新的类型。

3 准备工作

在这一部分中，介绍了一些神经网络体系结构，它们被广泛用于将输入转换为新的特征表示。

1）前馈全连接神经网络

[13]

2）前向卷积神经网络

卷积神经网络(CNNs)[26]受到生物过程的启发，其中神经元之间的连接模式是由动物视觉皮层的组织所启发的.同样， 卷积层中的每个神经元只连接到前一层的几个附近的神经元，每个神经元都使用相同的权重集。 它广泛应用于图像数据集时 需要特征提取的局部性和移位不变性。 它可以直接训练特定的聚类损失，而不需要任何初始化要求，并且具有良好的初始化功能 显著提高了聚类性能。 据我们所知，在任何现有的论文中都没有给出理论上的解释，但广泛的工作表明了其聚类的可行性。

3）深度信任网络

深度信念网络(DBNs)[27]是一种生成的图形模型，它学习提取输入数据的深层分层表示。 DBN由几个叠加的受限玻尔兹曼组成 机器(RBMS)[28]。 贪婪分层无监督训练应用于DBN，以RBMS作为每个层的构建块。 然后，对DBN的所有（或部分）参数进行微调。 对于某些准则（损失函数），例如DBN对数似然的代理、监督训练准则或聚类损失。

4）自编码（*）

自动编码器(AE)是无监督表示学习中最重要的算法之一。 它是训练映射函数的有力方法，保证了最小的重构误差 在编码层和数据层之间。 由于隐藏层通常比数据层具有更小的维数，它可以帮助找到数据最显著的特征。 虽然自动编码器主要是为了在监督学习中找到更好的参数初始化，将其与无监督聚类相结合也是很自然的。

5）GAN & VAE（*）

GAN的目的是实现发生器和鉴别器之间的平衡，而VAE试图最大化数据对数似然的下界。

4 深度聚类的研究

深度聚类的损失函数一般由两个部分组成Ln和Lc。

网络损耗可以是自动编码器的重构损耗, 变分编码器的变分损耗, 生成对抗性网络的对抗性损失。

A、基于AE的深度聚类

一种用于无监督数据表示的神经网络，目标是最小化重构损失。一个自动编码器由两个部分组成：编码函数，用来隐射原始的数据x到浅层表示h；解码函数，产生重构表示，这个重构表示需要尽可能的接近x。注意， 请注意，编码器和解码器都可以通过完全连接的神经网络或卷积神经网络来构建。

改进：
1）结构：
原始的自动编码器由多层感知组成。 为了处理具有空间不变性的数据，例如图像数据、卷积层和池层可以用来构造 卷积自动编码器。
2）鲁棒性：
为了避免过拟合和提高鲁棒性，在输入中加入噪声是很自然的。去噪自动编码器尝试去重构x,
，[14][35]。
3） 对潜在特征的限制
不完全自动编码器约束潜在层的z的维度比输入的x低，强制编码器去提前最显著的特征。
4）重构损失
自动编码器的重构损耗通常只包括输入层和输出层之间的差异，而所有层的重构损耗也可以联合优化。
代表方法：

（1）Deep Clustering Network (DCN)
[13]将自动编码器与K-Means结合。在第一步，它预传一个自动编码器。 然后，联合优化重建损失和k均值损失。 由于k均值使用离散聚类赋值，因此该方法需要一个交替的优化算法。 与其他方法相比，DCN的目标简单，计算复杂度相对较低。

（2）Deep Embedding Network (DEN)
[31]提出了一个深度嵌入网络去提取特征表示用于聚类。 它首先利用深度自动编码器从原始数据中学习简化的表示。 其次，为了保持原始数据的局部结构性质，采用了局部性保留约束。 此外，它还包含一个群稀疏约束来对角化表示的亲和力。 与重建损失一起，对三个损失进行联合优化，以微调网络以实现面向聚类的表示。 局部性保留和群稀疏约束作为辅助聚类损失， 因此，作为最后一步，需要k-均值来对学习的表示进行聚类。
（3）Deep Subspace Clustering Networks (DSC-Nets)
[37]引入了一种新的自动编码器结构去学习显示的非线性映射用于子空间聚类。关键是引入新的自表达层， 它是一个完全连接的层，没有偏置和非线性激活，并插入到编码器和DEC之间的交界处。 该层旨在编码自我表达特性[39,40]。 虽然它在几个小规模数据集上具有优越的性能，但它确实是内存消耗和耗时的，因此不能应用于大规模数据集。
（4）Deep Multi-Manifold Clustering (DMC)
[41] 是一种基于深度学习的多流态聚类框架。 它优化了一个由两部分组成的联合损失函数：局部性保持目标和面向聚类的目标。 第一部分使学习的表示具有意义，并嵌入到它们的内在流形中。 包括自动编码器重构损失和局部性保留损失。 第二部分基于表示接近每个聚类质心而惩罚表示，使表示聚类友好和具有歧视性。大量的实验结果表明DMC有一个较好的性能。
（5）Deep Embedded Regularized Clustering (DEPICT)
[14] 是一个复杂的方法，它由一个多层卷积自动编码器顶部的softmax层组成。 它最小化了具有正则化项的相对熵损失函数进行聚类。 正则化项鼓励均衡的集群分配，避免将集群分配给离群点样本。然而， 自动编码器的重构损耗也被用来防止损坏的特征表示。 请注意，编码器和解码器中的每一层都会导致重建损失，而不仅仅是输入和输出层。 该方法的另一个亮点是，它使用噪声编码器来增强算法的鲁棒性。实验表明该方法具有较高的计算效率和聚类性能。
（6）Deep Continuous Clustering (DCC)
[42]也是一个基于AE的深度聚类算法。 一种具有明确的连续目标且事先不知道簇数的公式。 与许多其他方法类似，表示学习和聚类是联合优化的。

B、基于CDNN的深度聚类

该算法用聚类损失去训练网络，其中网络可以是FCN、CNN或DBN。
代表方法：

1. 无监督预训练网络

（1）Deep Nonparametric Clustering (DNC)
[30] 利用DBN的无监督特征学习进行聚类分析。 它首先训练DBN将原始训练数据映射到嵌入代码中。 然后，运行非参数最大裕度聚类(NMMC)算法，获得所有训练数据的簇数和标签数。 之后，需要微调过程来细化DBN顶层的参数。实验表明优于古典聚类算法。
（2） Deep Embedded Clustering (DEC)
[11] 最具有代表性的深度聚类算法，引起深度关注。 它使用自动编码器作为网络体系结构，并使用集群分配硬化损失作为正则化。它首先利用重构损耗训练一个自动编码器，然后下降解码器部分。 编码器网络提取的特征作为聚类模块的输入。 之后，利用集群分配硬化损失对网络进行微调。 通过最小化软标签分布与辅助目标分布之间的KL-发散来迭代细化聚类。 结果表明，该算法取得了较好的效果，成为比较新型深度聚类算法性能的参考。
（3）Discriminatively Boosted Clustering (DBC)
[12]与DEC具有几乎相同的体系结构，唯一的改进是它使用卷积自动编码器。由于卷积网络的使用，它在图像数据集上优于DEC。
2. 监督预训练网络
（1）Clustering Convolutional Neural Network (CCNN)
[17] 是一种高效可靠的深度聚类算法，可以处理大规模的图像数据集。提出了一种基于CNN的迭代聚类和表示学习框架。 它首先随机选择k个样本，并使用在Image Net数据集上预先训练的初始模型来提取它们作为初始聚类质心的特征。 在每个步骤中，执行小批k均值来更新样本和聚类质心的分配，而随机梯度下降用于更新所提出的CNN的参数。小批量k-意味着显着降低了计算和内存成本，使CCNN能够适应大规模数据集。此外，还引入了一种新的迭代质心的方法， 避免了两次连续迭代的特征不一致引起的漂移误差。 同时，只选择距离相应质心最小的顶公里样本来更新网络参数，以提高更新的可靠性。 所有这些技术都提高了聚类性能。 据我们所知，它是唯一能够处理数百万图像聚类任务的深度聚类方法。
3. 非预训练网络
（1）Information Maximizing Self-Augmented Training(IMSAT)
[49]是一种无监督的离散表示学习算法，其任务是将函数映射数据转化为离散表示。 聚类是任务的特例。 它组合在一起 NES FCN和正规化信息最大化(RIM)[50]， 它学习概率分类器，使输入和集群分配之间的相互信息最大化。 此外，分类器的复杂性被正则化。 同时，提出了一种称为自增强训练(SAT)的灵活而有用的正则化目标，将预期的不变性强加给数据表示。 这种数据增强技术显着地提高了标准深度RIM的性能。这种数据增强技术显着地提高了标准深度RIM的性能。 IMSAT在MNIST和REUTERS数据集上显示了最先进的结果。
（2）Joint Unsupervised Learning (JULE)

[16]建议联合学习特征表示和聚类图像。 卷积神经网络用于表示学习，层次聚类（具体而言，聚集聚类）用于聚类。 它在递归过程中迭代地优化目标。 分层图像聚类是在前向传递中进行的，而特征表示是在后向传递中学习的。
（3）Deep Adaptive Image Clustering (DAC)

C、基于VAE的深度聚类

D、基于GAN的深度聚类

GAN框架建立了两个神经网络之间的最小对抗性博弈： 生成网络G和判别网络D。 生成网络试图将样本z从先验分布p(z)映射到数据空间，而判别网络试图计算输入是来自数据分布的真实样本的概率，而不是生成网络生成的样本。目标函数为：

生成器G和判别器D可以使用SGD交替优化。 GAN的思想很有趣，因为它提供了一种对抗性的解决方案来匹配数据或其代表的分布 具有任意先验分布的入口。

5 参考文献

深度学习文章拓展

本文标签： 笔记论文ClusteringSurveyDeep