常见机器学习算法

算法"/>

常见机器学习算法

背景：笔者做过一段时间的机器学习，了解到一些机器学习相关概念，总结在这里用于复习。欢迎留言指正。

集成学习

GBDT 梯度提升决策树

梯度提升决策树(Gradient Boosting Decision Tree),一种基于boosting集成学习思想的加法模型，训练时采用前向分布算法进行贪婪的学习，每次迭代都学习一棵CART树来拟合之前 t-1 棵树的预测结果与训练样本真实值的残差。
CART(classification and regression tree)分类与回归树

Adaboost

adaboost是一种迭代算法，针对同一个训练集中的不同分类器，然后把这些弱分类器集合起来，构成一个更强的最终分类器。(Adaptive boosting)自适应增强算法，擅长处理分类问题、标签问题和回归问题，用于数据分类问题较为多见。对于分类器而言，它是基于测试过程中错误反馈调节的分类器的分类效果。

GBDT与adaboost的区别

Adaboost用错分数据点来识别问题，通过调整错分数据点的权重来改进模型。GBDT通过负梯度来识别问题，通过计算负梯度来改进模型。
GBDT每一轮训练时所关注的重点是本轮产生结果的残差，下一轮以本轮残差作为输入，尽量去拟合这个残差，使下一轮输出的残差不断变小。所以GBDT可以做到每一轮一定向损失函数减小的梯度方向变化，而传统的boosting算法只能是尽量向梯度方向减小，这是GBDT与传统boosting算法最大的区别，这也是为什么GBDT相比传统boosting算法可以用更少的树个数与深度达到更好的效果。

Random Forest 随机森林

集成学习中的 Bagging，随机森林是一个包含多个决策树的分类器， 并且其输出的类别是由个别树输出的类别的众数而定

神经网络

LSTM 长短期记忆神经网络

长短期记忆神经网络（LSTM）是一种特殊的循环神经网络(RNN)。原始的RNN在训练中，随着训练时间的加长以及网络层数的增多，容易出现梯度爆炸或梯度消失的问题，导致无法处理较长序列数据，从而无法获取长距离数据的信息。为解决该问题，提出了它的改进方案，即LSTM神经网络。选择一个记忆细胞，对信息有选择性地记忆。LSTM被广泛用于许多序列任务（包括天然气负荷预测，股票市场预测，语言建模，机器翻译），并且比其他序列模型（例如RNN）表现更好，尤其是在有大量数据的情况下。