【机器学习】什么是逻辑回归

一、摘要

本文主要讲述了逻辑回归算法的基本原理和应用。首先介绍了逻辑回归在机器学习领域的重要地位，然后解释了其名称的由来和如何利用样本特征和概率之间的关系进行分类。通过与线性回归的对比，解释了概率值的概念和如何进行分类。强调了逻辑回归只能解决二分类问题，并介绍了如何通过转换函数将线性回归的结果转换为概率值。最后通过实例说明了如何应用逻辑回归模型进行肿瘤类型的预测。

二、逻辑回归算法简介

1. 逻辑回归是一种常用的机器学习算法，在各个行业中广泛使用，尤其在非军事和安全领域。逻辑回归的简单性使其易于理解和实现，但同时也非常有用。逻辑回归的性能优于许多其他复杂算法，特别是在数据量不大时。
   
   从这张图可以得出以下结论：

   • 整体应用情况：在大多数行业的工作中，逻辑回归是最常使用的数据科学方法，应用比例达63.5% ，远超其他方法。
   • 特定行业差异：军事和安全行业是例外，该领域神经网络的使用频率略高于逻辑回归。
   • 其他方法使用情况：决策树（49.9%）和随机森林（46.3%）的使用也较为广泛；贝叶斯技术、集成方法、支持向量机 等使用比例依次递减；卷积神经网络（CNNs）、循环神经网络（RNNs）等相对小众，“其他”类别占比8.3% 。

2. 逻辑回归解决的是分类问题，而不是回归问题。它通过将样本特征与样本发生的概率联系起来进行预测。它预测的是样本发生的概率，通常使用概率值p来表示。如下图所示：
   

   • $\hat{y}=f(x)$
   • $\hat{p}=f(x)$
   • $\hat{y}=\{\begin{array}{ll}1,& \hat{p}\ge 0.5\\ 0,& \hat{p}\le 0.5\end{array}$
     表明逻辑回归是一种用于解决分类问题的机器学习算法，虽然带有“回归”二字，但常用于二分类任务。
   • $\hat{y}=f(x)$ 中，$\hat{y}$ 表示模型对样本 $x$ 的预测结果 。$f(x)$ 代表逻辑回归模型的预测函数。
   • $\hat{p}=f(x)$ 里，$\hat{p}$ 是模型预测样本 $x$ 属于正例的概率，同样由函数 $f(x)$ 计算得出，这里的 $f(x)$ 一般基于Sigmoid函数，将输入映射到0到1之间的概率值。
   • y ^ = { 1 , p ^ ≥ 0.5 0 , p ^ ≤ 0.5 \hat{y} =\begin{cases}1, & \hat{p} \geq 0.5 \\ 0, & \hat{p} \leq 0.5 \end{cases}