－－（2）

其中，α， σ 和 b 是训练数据后产生的值。可以通过调节σ来匹配维度的大小，σ越大，维度越低。

SVM核心思想：

SVM目的是找到一个线性分类的最佳超平面 f（x）＝xwT＋b＝0。求 w 和 b。首先通过两个分类的最近点，找到f（x）的约束条件。有了约束条件，就可以通过拉格朗日乘子法和KKT条件来求解，这时，问题变成了求拉格朗日乘子αi 和 b。对于异常点的情况，加入松弛变量ξ来处理。使用序列最小化SMO（Sequential Minimal Optimization）来求拉格朗日乘子αi和b。注意：有些αi＝0的点，可以不用在分类器中考虑。

1）线性分类可以使用公式（1）和公式（2），对于公式（1）需要求解 w 和 b；对于公式（2）需要求解拉格朗日乘子αi和b；

2）非线性分类只能使用公式（2），不能使用公式（1），因为公式（1）是线性函数。非线性分类的问题将向量映射到高维度，需要使用核函数。

SVM实质：

支持向量机（SVM）将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。建立方向合适的分隔超平面使两个与之平行的超平面间的距离最大化。其假定为，平行超平面间的距离或差距越大，分类器的总误差越小。

SVM关键因素：

SVM的关键在于核函数。低维空间向量集通常难于划分，解决的方法是将它们映射到高维空间。但这个办法带来的困难就是计算复杂度的增加，而核函数正好巧妙地解决了这个问题。也就是说，只要选用适当的核函数，可以得到高维空间的分类函数。在SVM理论中，采用不同的核函数将导致不同的SVM算法。在确定了核函数之后，由于确定核函数的已知数据也存在一定的误差，考虑到推广性问题，因此引入了松弛系数以及惩罚系数两个参变量来加以校正。在确定了核函数基础上，再经过大量对比实验等将这两个系数取定，则问题基本搞定。

SVM常用方法：

1）一对多法：把某一种类别的样本当作一个类别，剩余其他类别的样本当作另一个类别，这样就变成了一个两分类问题。然后，在剩余的样本中重复上面的步骤｀这种方法箱要构造k个SVM模型，其中，k是待分类的个数。这种方案的缺点是训练样本数目大，训练困难。

2）一对一法： 在多值分类中，每次只考虑两类样本，即对每两类样本设计一个SVM模型，因此，总共需要设计k（k一l） ／2个SVM模型。需要构造多个二值分类器，且测试时需要对每两类都进行比较，导致算法计算复杂度很高。

SVM决策树法：它通常和二叉决策树结合起来，构成多类别的识别器。这种方法的缺点是如果在某个节点上发生了分类错误，将会把错误延续下去，该节点后续下一级节点上的分类就失去了意义。weston虽然提出了用一个优化式解多值分类问题，但由于其变量t数目过多，所以只能在小型问题的求解中使用。

SVM是一种基于统计学习理论的模式识别方法，是一个二分类算法，它可以在N维空间找到一个（N－1）维的超平面，这个超平面可以将这些点分为两类。也就是说，平面内如果存在线性可分的两类点，SVM可以找到一条最优的直线将这些点分开。它在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。SVM应用范围很广，已经在许多领域，如生物信息学，文本和手写识别等中都取得了成功的应用。目前主要应用于模式识别领域。

结语：

在机器学习中，支持向量机（SVM）是与相关的学习算法有关的监督学习模型，可以分析数据，识别模式，用于分类和回归分析。在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。已经在许多领域，比如生物信息学，文本和手写识别等中都取得了成功的应用。目前主要应用于模式识别领域。