你的浏览器禁用了JavaScript, 请开启后刷新浏览器获得更好的体验!
SVM(support vector machine)是一种二分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使其区别于感知机,感知机只是找到一个分离超平面。
当训练数据线性可分,通过间隔最大化,学习到一个线性可分支持向量机:硬间隔支持向量机;数据近似线性可分,得到线性支持向量机;当数据线性不可分时,得到非线性支持向量机。
一个点到分离超平面的距离可以表示分类预测的确信程度。通常使用来表示点x到超平面的远近
函数间隔表示分类预测的准确性和确信度。当成比例的变化时,超平面并没有变化,因此需要规范化,加上,此时变成了几何间隔。
设样本点A到超平面的距离为
统一地:当样本点被超平面正确分类时,点到超平面的距离为那么,当时候,函数间隔和几何间隔是相等的。
如果等比例的变化,函数间隔相应的变化,但是几何间隔是不变的
支持向量机学习的基本思想是求解能够正确划分训练数据集并且几何间隔最大的分离超平面。几何间隔最大的分离超平面是唯一的。这里的间隔最大化称之为硬间隔最大化。
硬间隔最大化
硬间隔最大化不仅能够将正负实例点分开,还能将最难分的实例点(距离超平面最近的点)也能分开,对应的模型为意思:
根据函数间隔和几何间隔的关系,模型还可以表示为:
函数间隔不影响模型,就取,那么最小化和最小化等价(方便求导)
线性可分支持向量机的最优化问题可以表示为凸二次优化问题:
最小化法向量:
约束条件:求解出上述两个的式子的解就可以求出分离超平面和决策函数
将线性可分支持向量机的最优化问题,通过拉格朗日对偶性,转换成求解对偶问题,得到对偶问题的最优解
如何构建对偶形式:
要回复文章请先登录或注册