纵向联邦学习原理之Logistic Regression

纵向联邦学习(LR)

在线性回归 $y=wx$ 基础上要求

• $y=1$ 的概率随 $wx$ 增加而增加
• 当 $wx$ 的值是 $0$ 时, $y=1$ 的概率是 $0.5$

逻辑函数满足上述性质

$$\frac{1}{1+e^{-z}}$$

代入 $z=wx$

$$y=\frac{1}{1+e^{-wx}}$$

$y=1$ 的概率

$$\mathbb{P}(y=1|x)=\frac{1}{1+e^{-wx}}$$

$y=-1$ 的概率

$$\mathbb{P}(y=-1|x)=1-\mathbb{P}(y=1|x)=\frac{e^{-wx}}{1+e^{-wx}}=\frac{1}{1+e^{wx}}$$

把二者统一起来

$$\mathbb{P}(y|x)=\frac{1}{1+e^{-ywx}}$$

代入最大似然函数

$$L(w)=\prod _{i=1}^n\mathbb{P}(y|x)$$

由于 $0<\mathbb{P}(y|x)<1$，因此在理想情况下（对所有训练样本都能够输出接近 1的概率）， $L(w)$ 最大值会无限接近 1，因此模型训练目的是求满足条件的 $w$ 使得该似然函数尽量接近 1，为方便计算，两边取对数，不影响单调性

$$\begin{array}{rl}\ln L(w)& =\sum _{i=1}^n\ln \mathbb{P}(y|x)\\ & =\sum _{i=1}^n\ln \frac{1}{1+e^{-ywx}}\\ & =-\sum _{i=1}^n\ln (1+e^{-ywx})\end{array}$$

要想使得 $\ln L(w)$ 最大，也就是 $-\ln L(w)$ 最小，$-\ln L(w)$ 描述了 模型与真实数据的误差
$$Loss=-\ln L(w)=$$