SVM基础

Support Vector Machines基础

1 SVM的优缺点：

1.1 优点：

• 高维空间适用
• 当特征数量大于样本数量时仍适用
• 支持向量是训练集子集，省空间
• 可选核函数适用不同的实际训练情况

1.2 缺点：

• 特征数大于样本数容易过拟合
• 不能给出类别的概率输出

2 分类（SVC）：

2.1 支持向量机公式：

这实际上是具有软间隔的SVM的表达形式，其中xi是训练的向量，y是类别标签，值为1或-1.

其对偶形式为：

（直接传图了）

对偶形式的由来：

当我们有了SVM的基本模型之后，需要考虑的是如何去求解这个模型，这是算法的关键。
对于这种带约束的凸优化问题（这里SVM的模型是凸的），可根据拉格朗日乘子法得其对偶形式（具体可以参考凸优化相关书籍或者《机器学习》）。使用拉格朗日乘子法，就要引入拉格朗日乘子，就是其中的α了。
中间涉及到求目标函数的极小值，令w和b，ξ的导数等于零，然后将这三个变量解出来，再带回原式即可。
是比较麻烦的，可以参考周志华《机器学习》

2.2 SVC的种类：

1. SVC
2. NuSVC:和SVC大体一样，只是其中参数C换了
3. LinearSVC:默认核函数是线性的，所以不用制定这一参数即可调用

2.3 调用形式：

from sklearn import svm
X = [[0, 0], [1, 1]]
y = [0, 1]
clf = svm.SVC(gamma='scale')   #调用一个分类器，可以传入参数
clf.fit(X, y)                  #训练模型#

在训练完之后，就可以用训练好的分类器来预测数据类别了。

clf.predict([[2., 2.]])

在前面说过，SVM一个很大特点就是只使用训练数据中的少部分向量（支持向量），其余数据在确定分类边界上实际上是没用的。
此处可使用support_vectors_, support_ and n_support，来查看支持向量信息

clf.support_vectors_     #给出支持向量本身
clf.support_             #给出支持向量索引
clf.n_support_           #获得每类的支持向量数

2.4 多分类：

2.4.1

SVC和NuSVC使用一对一的多分类策略，如果有n类的话，需要构建n*（n-1）/2个分类器。由参数decision_function_shape来选择。

X = [[0], [1], [2], [3]]
Y = [0, 1, 2, 3] 
clf = svm.SVC(gamma='scale', decision_function_shape='ovo') 
clf.fit(X, Y)

LinearSVC使用“一对其余”的多分类策略。

3 回归：

支持向量机除了可以用作分类，也可以用于回归问题。这里的回归实际上是将SVC中的margin抽象成‘线性分类器’那种形式。
对应有三种：SVR, NuSVR and LinearSVR。

一个回归小例子

4 核函数：

分别是：线性核、多项式核、径向基核函数、sigmoid核函数

核函数也可以自己写，也即自己写一个核函数，将数据映射到另一个空间中

def my_kernel(X, Y):   #这是一个自己定义的核函数
    """
    We create a custom kernel:

                 (2  0)
    k(X, Y) = X  (    ) Y.T
                 (0  1)
    """
    M = np.array([[2, 0], [0, 1.0]])
    return np.dot(np.dot(X, M), Y.T)

5 example：

print(__doc__)

import numpy as np
import matplotlib.pyplot as plt
from sklearn import svm, datasets


def make_meshgrid(x, y, h=.02):
    """Create a mesh of points to plot in

    Parameters
    ----------
    x: data to base x-axis meshgrid on
    y: data to base y-axis meshgrid on
    h: stepsize for meshgrid, optional

    Returns
    -------
    xx, yy : ndarray
    """
    x_min, x_max = x.min() - 1, x.max() + 1
    y_min, y_max = y.min() - 1, y.max() + 1
    xx, yy = np.meshgrid(np.arange(x_min, x_max, h),
                         np.arange(y_min, y_max, h))
    return xx, yy


def plot_contours(ax, clf, xx, yy, **params):
    """Plot the decision boundaries for a classifier.

    Parameters
    ----------
    ax: matplotlib axes object
    clf: a classifier
    xx: meshgrid ndarray
    yy: meshgrid ndarray
    params: dictionary of params to pass to contourf, optional
    """
    Z = clf.predict(np.c_[xx.ravel(), yy.ravel()])
    Z = Z.reshape(xx.shape)
    out = ax.contourf(xx, yy, Z, **params)
    return out


# import some data to play with
iris = datasets.load_iris()
# Take the first two features. We could avoid this by using a two-dim dataset
X = iris.data[:, :2]
y = iris.target

# we create an instance of SVM and fit out data. We do not scale our
# data since we want to plot the support vectors
C = 1.0  # SVM regularization parameter
models = (svm.SVC(kernel='linear', C=C),
          svm.LinearSVC(C=C),
          svm.SVC(kernel='rbf', gamma=0.7, C=C),
          svm.SVC(kernel='poly', degree=3, C=C))
models = (clf.fit(X, y) for clf in models)

# title for the plots
titles = ('SVC with linear kernel',
          'LinearSVC (linear kernel)',
          'SVC with RBF kernel',
          'SVC with polynomial (degree 3) kernel')

# Set-up 2x2 grid for plotting.
fig, sub = plt.subplots(2, 2)
plt.subplots_adjust(wspace=0.4, hspace=0.4)

X0, X1 = X[:, 0], X[:, 1]
xx, yy = make_meshgrid(X0, X1)

for clf, title, ax in zip(models, titles, sub.flatten()):
    plot_contours(ax, clf, xx, yy,
                  cmap=plt.cm.coolwarm, alpha=0.8)
    ax.scatter(X0, X1, c=y, cmap=plt.cm.coolwarm, s=20, edgecolors='k')
    ax.set_xlim(xx.min(), xx.max())
    ax.set_ylim(yy.min(), yy.max())
    ax.set_xlabel('Sepal length')
    ax.set_ylabel('Sepal width')
    ax.set_xticks(())
    ax.set_yticks(())
    ax.set_title(title)

plt.show()

6 总结

使用SVM的过程中尤其要注意参数的选择，对于不同的参数，SVM的效果可能会有很大的差别，具体问题要具体分析。

http://scikit-learn.org/stable/modules/svm.html