感知机

最新推荐文章于 2024-05-26 21:19:02 发布

原创最新推荐文章于 2024-05-26 21:19:02 发布 · 326 阅读

0 ·

本内容遵循CC 4.0 BY-SA版权协议

收录于

机器学习

本文详细介绍了感知机模型，包括其线性分类思想、数学表达式和几何解释。感知机的损失函数是误分类点到超平面的总距离，通过随机梯度下降法进行优化。文章还探讨了感知机模型的算法流程，以及对偶形式的优化，以提高算法效率。

感知机模型

感知机的思想是在特征空间找到一个分离超平面，能将二元分类的数据完全的分隔开。使得超平面一侧的数据点分类为一类，另一侧的数据点分类为另一侧。当数据集线性可分时，感知机是收敛的，也就是说肯定能找到一个超平面将数据分隔开。

数学模型表示如下： $f(x)=sign(w^Tx+b)$ 其中sign为符号函数，当自变量大于等于0时输出取1，自变量小于0时输出取-1。

几何解释：线性方程 $w^Tx+b=0$ 表示分离超平面，将特征空间分隔成两部分，位于两部分的点分别分类为正负两类。满足 $w^Tx+b>0$ 的点的输出值为+1，满足 $w^Tx+b<0$ 的点的输出值为-1。

我们可以令 $θ=(w,b)T\theta=(w,b)^T$ , $x=(x,1)^T$ ，即都为列向量，那么 $f(x)=sign(θ⋅x)f(x)=sign(\theta \cdot x)$
可以看出，感知机模型的假设空间是特征空间中的所有线性分类器。感知机学习的目标是求得一个能够将正负实例分开的超平面。

感知机模型的损失函数

我们可以看出，对于模型预测正确的点，满足 $yiθ⋅xi>0y_i\theta \cdot x_i>0$ ，预测错误的点满足 $yiθ⋅xi<0y_i\theta \cdot x_i<0$ 。感知机模型的损失函数，一个自然选择是误分类点的总数，但这样的损失函数不是关于w和b的连续可导函数，不易优化。于是感知机的损失函数是误分类点到超平面的总距离。
对于任意一个误分类样本点 $x_i,y_i)$ ，到超平面的距离为 $−yiθ⋅xi∣∣θ∣∣2\frac{-y_i\theta \cdot x_i}{||\theta||_2}$ 假设误分类点的集合为M，那么损失函数为 $∑xi∈M−yiθ⋅xi∣∣θ∣∣2\sum_{x_i \in M}\frac{ -y_i\theta \cdot x_i}{||\theta||_2}$
我们可以看出分子和分母都是和参数 $θ\theta$ 有关的，且分子变化k倍分母也变化k倍，也就是分子分母关于 $θ\theta$ 是同阶的（分母其实不应包含b，但这样写只是为了更简洁的看出缘由，当b固定时，分子分母亦是同阶的）。由于分子分母成比例，我们可以只使用分子或分母求极值只会使极值成比例变化，但极值对应的参数不会变化。我们不关注取极值时的损失函数的值，只关注此时的参数值，因此可将分子作为优化目标，以简化优化问题。没有固定分母，因此会有多个解。也就是优化目标变成 $\sum_{x_i \in M} -y_i\theta \cdot x_i$

感知机损失函数的优化算法

感知机的损失函数可以用梯度下降和拟牛顿法来求解，最常用的是梯度下降法。由于感知机损失函数只和误分类集有关，所以普通的批量梯度下降无法使用。感知机模型使用的是随机梯度下降，每次使用误分类的一个样本点对参数进行更新。
那么每次参数向量的更新公式为： $θ=θ+αyixi\theta = \theta + \alpha y_ix_i$ 其中 $α\alpha$ 为步长，y(i)为样本输出1或者-1，x(i)为(n+1)x1的向量。

感知机模型的算法

输入：{ ${(x_1,y_1),...,(x_m,y_m)}$ }，学习率
输出：分离超平面的参数向量
算法流程：
1）初始化参数向量。由于有多个解，因此初始化影响最后的参数结果。
2）在训练集里找一个误分类的点（满足 $yiθ⋅xi<=0y_i\theta \cdot x_i<=0$ ）
3）进行随机梯度下降，更新参数向量： $θ=θ+αyixi\theta = \theta + \alpha y_ix_i$
4）检查训练集是否还有误分类的点，如果有转入2），直至没有误分类的点

感知机学习算法的对偶形式

对偶形式是原始形式的优化。

从上面的参数迭代公式可以看出，只有误分类的点参与迭代更新参数的过程，对于从未分类错误的样本点，参与迭代的次数为0，对于多次分类错误的样本点，参与迭代的次数设置为 $m_i$ 。如果参数向量设置为0向量，则参数向量可写成： $θ=∑i=1mmiαyixi\theta = \sum_{i=1}^m m_i \alpha y_ ix_i$ 令 $βi=αmi\beta_i = \alpha m_i$ ，那么参数向量可写成： $θ=∑i=1mβiyixi\theta = \sum_{i=1}^m \beta_i y_ ix_i$ 此时的判定误分类点就变成了 $yi∑j=1mβjyjxj⋅xi<=0y_i\sum_{j=1}^m \beta_j y_jx_j\cdot x_i<=0$ ，涉及到每次迭代都得计算样本点之间的内积，可以事先将内积计算好存储在Gram矩阵中，算法运行时，每次迭代就可以直接查询使用，使得算法的效率有所提高。
算法流程：
1）初始化参数向量为0向量
2）计算样本的Gram矩阵
3）在训练集寻找一个误分类的点（ $yi∑j=1mβjyjxj⋅xi<=0y_i\sum_{j=1}^m \beta_j y_jx_j\cdot x_i<=0$ ）
4）进行随机梯度下降，更新参数向量： $β=β+α\beta=\beta + \alpha$
5）检查训练集是否还有误分类的点，如果有转入2），直至没有误分类的点