线性分类器之感知器模型（Perceptron）

前文提到，Fisher判别器的设计一般分两步，一是确定最优的投影方向，二是在投影方向上确定阈权值。而感知器则是一种直接得到完整的线性判别函数$g(x)=\omega^Tx+\omega_0$的方法。所以从某种意义上讲，感知器模型是Fisher判别的一种改进。了解神经网络的人也都知道，感知器是神经网络的基础。

首先将线性判别函数齐次化：
设$y=[1,x]^T$,$\alpha=[\omega_0,\omega]^T$，则

$$g(x)=\omega^Tx+\omega_0=\alpha^Ty$$
对于两类的情况，设 $\Gamma=\{y_1,y_2,...,y_d\}$ 为增广样本向量，那么决策规则则为：
$$如果 g(y)>0，则 y \in \omega_1；如果 g(y)<0，则 y \in \omega_2$$

接下来明确几个概念：
线性可分性：存在一个 $\alpha$，使所有样本能够被正确分类。即存在一个超平面能正确地将两个样本分开。
解向量