学习方法】"/>
【统计学习方法】
【K近邻法】
1968年由Cover和Hart提出。
k近邻法假设给定一个训练数据集,其中的实例类别已定。分类时,对新的实例,根据其k个最近邻的训练实例的类别,通过多数表决等方式进行预测。
k近邻法实际上利用训练数据集对特征向量空间进行划分,并作为其分类的“模型”。
1.模型
2.三个基本要素
k近邻法三要素:k值得选择、距离度量和分类决策规则。
2.1 k值的选择
k值小——学习的近似误差(approximation error)小,学习的估计误差(estimation error)大。模型复杂,易过拟合。
k值大——学习的近似误差(approximation error)大,学习的估计误差(estimation error)小。模型简单。
2.2 距离度量
Lp距离、欧式距离、曼哈顿距离:
更多推荐
【统计学习方法】
发布评论