非线性支持向量机基础——核函数之我见

向量机基础——核函数之我见"/>

非线性支持向量机基础——核函数之我见

写在前面，核函数方法不一定非得用在支持向量机上，任何只要出现内积<Xi,Xj>或者说你在求解线性问题，而权重w恰好是训练样本的加权组合的情况下，都可以用上核函数的方法，来做到提升维度，进而完成非线性到线性转换的一个目的。

可能有同学不理解，为什么从低维度升到高纬度就能够做到从原本线性不可分的情况一下子变成了线性可分了呢，我举一个吃货们最能体会的例子，你用面团做一个花卷，你把面揉成面饼，然后拉成一个平面，在平面上半部分撒上沙子，下半部分撒上芝麻，然后你弯曲一下搞成个S型，捏住上端提起来，用如来神掌一压，请问这时候你还下得去嘴吗，沙子你敢吃吗？嘎嘣脆啊哈哈哈哈，但是仔细想一想，你搞成像带鱼一样S型的时候，如果此时，你沿着芝麻和沙子的分界线还是很容易一刀切下去，从而将含沙子的面和含芝麻的面分开的不是吗？ 其实你从上帝视角压扁之后，相当于做了维度的压缩，在二维平面上，根本无法区分开沙子和芝麻，但是你提成s型的曲面，多了一个高度的维度，此时低维上升到了高维，区分起来就十分容易了，是不是很有画面感？

上一张图感受一下：（原谅我实在是不会画图，图是百度图库copy下来的，后续会更上自己的图）

讲完了思想再来正式的介绍一下本篇文章的主角，核函数，这里还是引用《统计学习方法》李航老师的定义：

核函数：设X是输入空间（欧式空间的子集或离散集合），又设为特征空间（希尔伯特空间），如果存在一个X到H的映射：