统计学习方法 2-感知机模型

感知机模型

$f(x)=sign(\omega*x+b)$

感知学习策略

假设训练数据集是线性可分的，感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。

损失函数是误分类点到超平面S的总距离。
点$x_i$到超平面的距离：
$\frac 1 {||\omega||} |\omega*x_i+b|=-\frac 1 {||\omega||} y_i(\omega * x_i+b)$
总距离：
$-\frac 1 {||\omega||} \sum_{x_i \in M}y_i(\omega * x_i+b)$
M为误分类点的集合
损失函数：
$L(\omega,b)=-\sum_{x_i \in M} y_i (\omega * x_i+b)$

感知机学习算法

感知机学习问题转化为求解损失函数式（2.4）的最优化问题，最优化的方法是随机梯度下降法。

感知机学习算法的原始形式

感知机学习算法是误分类驱动的，具体采用随机梯度下降法（stochastic gradient descent）。

算法的收敛性

对于线性可分数据集感知机学习算法原始形式收敛，即经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。

感知机学习算法的对偶形式

对偶形式的基本想法是，将w和b表示为实例xi和标记yi的线性组合的形式，通过求解其系数而求得w和b。
$\omega=\sum_{i=1}^N \alpha_i y_i x_i$
$b=\sum_{i=1}^N \alpha_i y_i$