争议最大的神经网络：绝顶聪明or傻透顶了 ?

admin管理员组

文章数量:1594248

极限学习机（Extreme Learning Machine）被认为是有史以来最牛的神经网络发明之一，甚至有一个专门研究极限学习机神经网络结构的会议。

极限学习机的支持者认为，极限学习机可以在训练实例很少的情况下，以指数级的速度完成标准任务。另一方面，它在机器学习领域的影响力并不大，它还受到了许多深度学习专家批评，其中包括Yann LeCun，他认为它得到的宣传和信誉远远超过了应得的。

极限学习机体系结构由两层组成：第一个是随机初始化并且不可更改的，而第二个是可训练的。实际上，网络随机地将数据投影到一个新的空间，并执行一次多重回归（当然，然后将其通过输出激活函数传递）。

随机投影需要一种降维或增维方法，它将随机矩阵乘以输入，尽管这个想法听起来很奇怪，但从战略分布中随机抽取实际上可以很好地运行(我们稍后将通过直观的类比看到)。它采用随机失真的方式，如果操作准确，可以让网络的其余部分适应，打开学习的大门。

事实上，正是由于这种随机性，极限学习机在隐含层节点相对较小的情况下，具有万能逼近定理。

随机投影的概念早在神经网络发展的领域就已经被探讨过了，在20世纪80年代和90年代，当时，有一种观点认为极限学习机并不是什么新鲜事物；只不过是新瓶装旧酒罢了。许多其他架构，如回响状态机和液态状态机，也利用了随机跳转连接和其他随机源。

然而，极限学习机和其他神经网络结构最大的不同可能是它不使用反向传播。相反，由于网络可训练的那一半只是一个简单的多元回归，所以参数的训练方法与回归中拟合系数的方法大致相同，这代表了神经网络训练方式的根本转变。

自从传统的人工神经网络诞生以来，几乎每一个神经网络都是通过迭代更新来优化的。这种方法已经存在了很长时间，人们必须假设它在被多次尝试和测试后已经是最好的方法，但研究人员承认标准的反向传播存在很多问题，比如训练速度非常慢，或者陷入非常诱人的局部极小值。

另一方面，极限学习机使用了一个更加数学化的公式来设置权重，而且无需深入数学计算，我们可以考虑使用随机层来补偿更多计算上昂贵的细节，否则它将被替换。如果奏效的话，从技术上讲，这个大获成功的“Droupout层”是一种随机的投射。

由于极限学习机同时采用了随机性和无反向传播算法，它们的训练速度比标准的神经网络要快得多。

再者，它们是否表现得更好又是另一个问题。

图源：UNSPLASH

人们可以说，极限学习机比标准更反映出人类如何学习神经网络，仅仅几个例子就能很快解决简单的任务，但迭代神经网络需要通过运行，并且至少得有成千上万的样品被推广和执行才可以。

与机器相比，人类可能有自己的弱点，但他们在学习与示例比率（示例是指他们接触到的训练示例的数量）方面的巨大优势使我们真正变得聪明。

极限学习机的概念非常简单，简单到有些人可能会说它愚蠢。Yann LeCun是很伟大的计算机科学家和深度学习领军人，他宣称随机连接第一层是你可以做的最愚蠢的事，他列举了更先进的方法来非线性地变换矢量维数，例如SVM中使用的核方法，该方法通过反向传播定位进一步加强。

LeCun认为，极限学习机本质上是一个支持向量机，而它的转换核更差；极限学习机能够解决的问题范围有限，使用支持向量机可能会更好地建模。唯一的反驳观点是使用随机核而不是专用核的计算效率，因为支持向量机是出了名的高功率模型；而极限学习机可能造成的性能降低是否值得，这还有待讨论。

比较极限学习机和SVMs的一种方法

然而，不管是不是极限学习机，我们得到的经验就是在简单的神经网络和其他模型中使用随机投影或过滤器，在各种现在被认为是简单的标准训练任务中，如MNIST，能显示出惊人的效果。

虽然性能不是顶级的，但事实上，此经过严格审查并且其概念近乎荒谬的架构可以在最新的神经网络在排行榜上独占鳌头。此外，它具有更轻量级的架构和指数较小的计算费用，很多人对此感兴趣。

为什么使用随机固定连接器？

这是一个重要的问题：如果极限学习机的性能与普通的backprop-NN网络一样好（甚至更好），则可以使其中的随机连接起作用。虽然它的数学原理并不直观，但《极限学习机》原稿的作者Guang Bin-Huang用一个寓言来说明了这个概念。

你想用石头填充一个湖，直到得到一个用石头填充的水平表面，你可以看到空湖的底部，它是一个曲线(表示数据的函数)。工程师仔细地计算了湖泊的大小，填湖的石头的大小，以及在优化任务中过多地发挥作用的其他小因素。

把石头填到湖里，这是一项虽然不好但还可以接受的工作

与此同时，农村的农民炸毁了附近的山，开始扔或推掉掉到湖里的石头。当农村的农民捡起一块石头(隐藏层节点)，他不需要知道湖的大小或石头的大小，他只是随意向四处扔石头。如果一个区域的岩石开始堆积在地表之上，农民就会拿起锤子砸碎它(各种参数正则化)，抚平地表。

当工程师还在计算岩石的高度、体积和湖的形状时，农民已经填满了湖。对农夫来说，扔多少石头并不重要，他的动作只会更快。

虽然把这个比喻直接应用不同的场景中不总是恰当，但这能直观地解释极限学习机的性质和在随机模型中所起的作用。极限学习机的精华之处就在于天真并不总是一件坏事：更简单的解决方案可以更好地解决不那么复杂的问题。

关键点：

• 极限学习机使用一种固定的、随机的第一层和可训练的第二层。这基本上是一个随机的预测，接着是多重回归。
• 支持者认为极限学习机能够很快在简单的情况下学会用很少的例子来学习，程序的优点是很简单并且没有需要选择参数的负担，如架构，优化，和损失。另一方面，反对者认为，SVM会更适用于这种场景，极限学习机不适合更复杂的问题，它只是在重塑一个非常古老的想法。
• 极限学习机通常不能很好地执行复杂的任务，但是它可以很好地执行简单的任务，这可以作为一个很好的理由来探索轻量级架构、非反向传播模型拟合和随机投影的世界。

你怎么看待极限学习机呢？

图源： MEDIUM

参考文献：https://towardsdatascience/some-call-it-genius-others-call-it-stupid-the-most-controversial-neural-network-ever-created-2224ed22795a

 

本文标签： 神经网络绝顶聪明