学习方法】"/>
【统计学习方法】
【K近邻法】
1968年由Cover和Hart提出。
k近邻法假设给定一个训练数据集，其中的实例类别已定。分类时，对新的实例，根据其k个最近邻的训练实例的类别，通过多数表决等方式进行预测。
k近邻法实际上利用训练数据集对特征向量空间进行划分，并作为其分类的“模型”。
1.模型
2.三个基本要素
k近邻法三要素：k值得选择、距离度量和分类决策规则。
2.1 k值的选择
k值小——学习的近似误差（approximation error）小，学习的估计误差（estimation error）大。模型复杂，易过拟合。
k值大——学习的近似误差（approximation error）大，学习的估计误差（estimation error）小。模型简单。
2.2 距离度量
Lp距离、欧式距离、曼哈顿距离：
更多推荐
【统计学习方法】
发布评论