西瓜书-SVM学习

1、样本空间中划分可以用线性方程,表示分类的正确性，大于0为分类正确，与法向量同一侧，而且越大代表越可信，小于0为分类不正确，法向量不同一侧，也可成为函数距离，可以随着改变大小。

几何距离l=,改变大小,||w||也会改变，故几何距离保持不变。

SVM就是求一个超平面，使得正负样本的距离最大，同时每一个样本到超平面的距离大于最小值，,》1，

补充：凸优化：min f(x),sb ,i=1....,，凸优化问题它是指约束最优化问题；二次规划：min f(x)=，sb;凸二次规划：min f(x)=，sb且A>=0，目标函数f是二次函数，约束函数是仿射函数

通过拉格朗日乘子法得到函数,令L对w,b求偏导为0，其中，根据矩阵求导得2w,分母分布的对w求导值为x,整个L式子求导值为0，则得到值,代入总式。

补充：矩阵求导，y对x求导，y为标量，x为向量，分母布局,列向量；分子布局：为行向量。y为向量，x为标量，与上面相反。若x,y为向量，分子布局为雅可比矩阵,分母布局是梯度矩阵，二阶就是海塞矩阵。

对L求解，使用对偶问题MaxminL,和minmaxL有相同的解，原始问题就是maxminL，对偶问题求a，将a带入求导，原始问题求w,b；

2、核函数：为x映射后的特征向量（一维不可分可以扩展到更高维度分），新模型就变为f(x)=。求解就是将以前变成,其为映射后的空间内积，直接求解非常困难，可以先设一个内积函数k（.,.），又叫核函数，只有任意数据D，核矩阵K（k组成对称矩阵）是半正定的，k有一个，可能有很多个，任何一个核函数都隐式定义了再生希尔伯特空间。使用的先定义核函数（选择合适的核函数，书上有推荐），核函数的选择对支持向量机非常重要。

补充：希尔伯特空间为内积空间，泛函分析里定义，后续找看看。gram矩阵也为内积矩阵

3、软间隔：有一些特异点不线性可分，大部分是可以分的（全部可分叫硬间隔），引入松弛变量，约束条件变为》1-，原始问题，C为惩罚函数，调和误分类个数，（w,b,）为解，w唯一，b不唯一。求解a（）中a>0对应得样本点（x,y）实例x成为支持向量，x到间隔边界得距离为，设||W||=1则，a,u,KKT的关系决定了样本点落在哪个地方。（分离超平面、间隔线、间隔内还是错误分类）

4序列最小最优化算法（SMO）来求解：假设a1和a2为变量，其他a(3....N)固定。,最优化问题min ,求解两个变量的二次规划问题。为常量，y1和y2为正负1（假设二分类问题）。y1和y2不一样则a1-a2=k,若y1和y2一致，则a1+a2=k.假设初始可行解为,最优解为,由于都要满足0-C之间约束。在y1和y2不一致的条件下则0<=<=C,得到,则新的最优解就介于L=max(0,),和H=min(C,C+);同理y1和y2一致情况下，a1+a2=k,介于max(0,k-C),和H=min(C,k)

不考虑不等式（0<=a<=C）设g(x)=,,预测值和真实值之间的误差

如果一开始沿着约束方向未有考虑到不等式的，<=这个是拉格朗日式W对a2求导等于0推到出来的。再考虑约束如果大于H则=H，再L和H之间，=；若<L,=L,再由推出，<=是由推出的，假设前后两个都为常量,最优解就是.

SMO算法在每个问题上选择两个变量优化，至少一个变量违反KKT，先找变量a1，首先遍历所有0<ai<C的样本点，间隔边界上支持向量点，是否满足KKT条件，如果都满足，再遍历整个训练集。第二步，再第一步找到a1的基础上寻找a2，以来E1-E2,启发的寻找a2,遍历间隔边界上的支持向量点，依次将其对应的变量作为a2使用，直到目标函数由足够的下降，若找不到合适a2，则放弃a1，重新找a1;每次完成两个变量优化后都要重新计算b和E.

5SVR支持向量回归，与SVM相似，求相反。