逻辑回归——机器学习（图解+理论+python实现）

最新推荐文章于 2026-05-20 21:10:06 发布

原创

最新推荐文章于 2026-05-20 21:10:06 发布 · 8.3k 阅读

这篇博客详细介绍了逻辑回归算法，从Sigmoid函数的核心作用到确定最佳回归系数的梯度上升法，再到Python实现逻辑回归。逻辑回归是二分类问题的经典算法，通过Sigmoid函数实现0~1之间的概率估计，可用于决策边界的构建。文中还提及在多分类问题中使用softmax函数。

前言

逻辑回归虽然带有回归两字，但实际上是做分类任务的，并且是一个经典的二分类算法。在我们选择使用机器学习算法的时候，通常呢，首先考虑的就是逻辑回归算法，再去考虑另外复杂的算法，也就是说我们能用简单的还是用简单的算法。在机器学习中，算法不是越复杂越好，而是要简单、高效、通俗易懂。

说这个算法经典是因为逻辑回归应用的比较广，而且原理简单、表现效果良好。所以现在很多大公司拿到分类任务之后，通常会做一个base model 也就是一个基础模型（比如想要建立一个复杂的系统，一开始不知道怎么办，先拿逻辑回归试一试看看能够达到什么效果，然后基于逻辑回归再做一些改进或者换一些其它算法，看下能不能比逻辑回归好，如果比逻辑回归好就用那个算法，如果是差不多的就不用费事了）。换句话说，在我们用机器学习算法建模的时候，首选的分类算法就是逻辑回归。

实际上，逻辑回归不单单是解决二分类，还能解决多分类（管它叫softmax，原理是一样的），并且逻辑回归的决策边界可以是非线性的。

一、Sigmoid函数（核心）

在逻辑回归这部分为什么要提到sigmoid函数？带着这个疑问继续看下面的你就知道了。

对于逻辑回归，我们想要的是：能接受所有的输入然后预测出类别。比如，在两个类别的情况下，这个分类器能够输出0或者1。具有这种性质的函数有的人可能接触过，比如阶跃函数，但是这个函数在跳跃点上是从0瞬间跳跃到1，儿这个瞬间跳跃的过程有时候很难处理。sigmoid函数呢，也有输出0或者1的这种性质，并且在数学上更好处理，sigmoid函数具体的公式为： $\sigma (z)=\frac{1}{1+e^{-z}}$ ，下图给出了这个函数直观的二维平面图像，可以看到在[-6,6]上曲线变化较为平滑。（公式里的 z 相当于是线性回归里的输入）

为了实现逻辑回归分类，我们可以在每个特征上都乘以一个回归系数（后面会说明如何找到最佳回归系数），然后把所有的结果值相加，将这个总和代入sigmoid函数中，进而得到一个范围在0～1之间的数值。任何大于0.5的数据被分入1类，小于0.5即被归入0类。所以，逻辑回归也可以被看成是一种概率估计。

而在多分类的情形中我们用到到是softmax函数