深入理解Softmax回归

深入理解Softmax回归

前面介绍的Logistic回归，浅层和深层全连接网络都是以二分类问题为例来介绍的（点击我的头像，找到 机器学习与深度学习 分区，来查看我的其他文章）。二分类模型的特征一般为：以sigmoid函数为输出层的激活函数，且输出层只有一个神经元。
本文主要介绍如何使用Softmax激活函数实现多分类问题。在介绍多分类的全连接网络前，先从介绍最简单的多分类模型Softmax回归开始。

1. Softmax回归的标签形式

在二分类问题中我们采用的是用0和1分别表示两种不同的样本。例如：实现一个网络模型来区分一张图片是猫或者不是猫，我们可以定义是猫为1，不是猫为0。如下图所示。

现在我们并不只是想知道这张图片是不是猫，我想知道它具体的物种类别，从而问题就变成了多分类问题。我们采用一种向量式标签定义方式，如下图所示：

这种标签定义的方式是以索引为根据的，即：向量的长度为分类个数，向量中只存在一个1其余都为0，用为1的元素对应的索引来区分不同类别。上图中，猫的标签中1对应的索引为0，狗为1，鼠为2，蛇为3。
这里可能有人会问：我直接用0，1，2，3来代表标签不就好了，为什么要定义形式这么奇怪的标签？后面会解释采用这种形式的原因。

2. Softmax回归的结构

下面给出了Softmax回归的结构图。

该图对应了一个三分类问题的算法结构，一共含有三个神经元（虽然画了6个圆圈，但是每个Z和A是一组的，共同构成一个神经元）。第i个神经元的职责是：判断该样本数据为i-1类数据的概率。举个例子，上图中，对于输入数据X，网络输出为列向量 A =（0.83，0.12，0.05），即网络预测该样本为0类样本的概率为0.83，为1类样本的概率是0.12，为2类样本的概率为0.05。进一步，网络取所有概率中最大者置为1，其余置0，得到输出列向量（1，0，0），从而得知该样本属于0类。
所以从原理来说，采用向量式的标签更符合Softmax的物理意义。但不光如此，后面还会介绍这种标签形式建立了Softmax回归和Logistic回归之间的联系。
本例子仅以一组输入数据为例，需要注意在实际的训练过程中，会有多组输入数据，而输出的标签一般为如下形式。
$\hat{Y}\text{=}\left(\begin{array}{cccc}1& 0& \cdots & 1\\ 0& 0& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 1& \cdots & 0\end{array}\right)$

3. Softmax回归原理

以下公式推导中如存在不同维数的矩阵相加减的情况，一律采用python的广播机制来实现。

3.1 参数约定

设共有$M$组训练数据，输入数据的长度为$n_0$，输出数据的长度为$n_1$。定义学习率为$\alpha$。定义训练数据$X$，标签为$Y$，二者满足如下形式：
$X\text{=}\left(\begin{array}{c}{X}_1\\ X_2\\ ⋮\\ X_{n_0}\end{array}\right)=\left(\begin{array}{cccc}{x}_1^{[1]}& x_1^{[2]}& \cdots & x_1^{[M]}\\ x_2^{[1]}& x_2^{[2]}& \cdots & x_2^{[M]}\\ ⋮& ⋮& \ddots & ⋮\\ x_{n_0}^{[1]}& x_{n_0}^{[2]}& \cdots & x_{n_0}^{[M]}\end{array}\right)$
$Y\text{=}\left(\begin{array}{c}{Y}_1\\ Y_2\\ ⋮\\ Y_{n_1}\end{array}\right)=\left(\begin{array}{cccc}{y}_1^{[1]}& y_1^{[2]}& \cdots & y_1^{[M]}\\ y_2^{[1]}& y_2^{[2]}& \cdots & y_2^{[M]}\\ ⋮& ⋮& \ddots & ⋮\\ y_{n_1}^{[1]}& y_{n_1}^{[2]}& \cdots & y_{n_1}^{[M]}\end{array}\right)$
在多分类问题中，对于标签 ，每一列${\left(\begin{array}{cccc}{y}_1^{[m]}& y_2^{[m]}& \cdots & y_{n_1}^{[m]}\end{array}\right)}^T$中有且只有一个$y_i^{[m]}$为1，其余都为0。定义权值矩阵$W$和偏移值矩阵$B$，二者的形式为：
$W\text{=}\left(\begin{array}{c}{W}_1^T\\ W_2^T\\ ⋮\\ W_{n_1}^T\end{array}\right)=\left(\begin{array}{cccc}{w}_{11}& w_{12}& \cdots & w_{1n_0}\\ w_{21}& w_{22}& \cdots & w_{2n_0}\\ ⋮& ⋮& \ddots & ⋮\\ w_{n_{1}1}& w_{n_{1}2}& \cdots & w_{n_1{n}_0}\end{array}\right)$
$B\text{=}\left(\begin{array}{c}{b}_1\\ b_2\\ ⋮\\ b_{n_1}\end{array}\right)$

3.2 前向传播过程

首先定义Softmax激活函数为：
$g(z_1,z_2,\cdots ,z_n)={\left(\frac{e^{z_1}}{\sum _{i=1}^n{e}^{z_i}},\frac{e^{z_2}}{\sum _{i=1}^n{e}^{z_i}},\cdots ,\frac{e^{z_n}}{\sum _{i=1}^n{e}^{z_i}}\right)}^T$
前向传播过程的过程与Logistic回归类似，都是先计算$Z$再计算$A$ 。下面给出计算方法：
$Z\text{=}\left(\begin{array}{cccc}{z}_1^{[1]}& z_1^{[2]}& \cdots & z_1^{[M]}\\ z_2^{[1]}& z_2^{[2]}& \cdots & z_2^{[M]}\\ ⋮& ⋮& \ddots & ⋮\\ z_{n_1}^{[1]}& z_{n_1}^{[2]}& \cdots & z_{n_1}^{[M]}\end{array}\right)\text{=}\left(\begin{array}{cccc}\sum _{i=1}^{n_0}\left(w_{1i}{x}_i^{[1]}\right)+b_1& \sum _{i=1}^{n_0}\left(w_{1i}{x}_i^{[2]}\right)+b_1& \cdots & \sum _{i=1}^{n_0}\left(w_{1i}{x}_i^{[M]}\right)+b_1\\ \sum _{i=1}^{n_0}\left(w_{2i}{x}_i^{[1]}\right)+b_2& \sum _{i=1}^{n_0}\left(w_{2i}{x}_i^{[2]}\right)+b_2& \cdots & \sum _{i=1}^{n_0}\left(w_{2i}{x}_i^{[M]}\right)+b_2\\ ⋮& ⋮& ⋮& ⋮\\ \sum _{i=1}^{n_0}\left(w_{n_{1}i}{x}_i^{[1]}\right)+b_{n_1}& \sum _{i=1}^{n_0}\left(w_{n_{1}i}{x}_i^{[2]}\right)+b_{n_1}& \cdots & \sum _{i=1}^{n_0}\left(w_{n_{1}i}{x}_i^{[M]}\right)+b_{n_1}\end{array}\right)=WX+B$
$A\text{=}\left(\begin{array}{cccc}{a}_1^{[1]}& a_1^{[2]}& \cdots & a_1^{[M]}\\ a_2^{[1]}& a_2^{[2]}& \cdots & a_2^{[M]}\\ ⋮& ⋮& \ddots & ⋮\\ a_{n_1}^{[1]}& a_{n_1}^{[2]}& \cdots & a_{n_1}^{[M]}\end{array}\right)=\left(\begin{array}{cccc}g\left(z_1^{[1]},z_2^{[1]},\cdots ,z_{n_1}^{[1]}\right)& g\left(z_1^{[2]},z_2^{[2]},\cdots ,z_{n_1}^{[2]}\right)& \cdots & g\left(z_1^{[M]},z_2^{[M]},\cdots ,z_{n_1}^{[M]}\right)\end{array}\right)\text{=}g\left(Z\right)$
在多分类问题中，花费函数与二分类问题不同，定义为：
$J\text{=}\frac{1}{M}\sum _{m=1}^M\sum _{i=1}^{n_1}\text{-}{y}_i^{[m]}\ln \left(a_i^m\right)$

3.3 反向传播过程

与Logistic回归类似，反向传播过程需要计算花费函数对各网络参数的梯度$\frac{\partial J}{\partial W}$和$\frac{\partial J}{\partial B}$。下面给出计算方法。
根据链式求导法则，首先计算每一个$\frac{\partial J}{\partial a_i^{[m]}}$：
$\frac{\partial J}{\partial a_i^{[m]}}=-\frac{1}{M}\frac{y_i^{[m]}}{a_i^{[m]}}$
接续下来计算每一个$\frac{\partial a_i^{[m]}}{\partial z_j^{[m]}}$。这个计算需要分两种情况来讨论。
$i\ne j$时，有：
$\frac{\partial a_i^{[m]}}{\partial z_j^{[m]}}=\frac{\partial \left(\frac{e^{z_i^{[m]}}}{e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}}\right)}{\partial z_j^{[m]}}=\text{-}\frac{e^{z_i^{[m]}}{e}^{z_j^{[m]}}}{{\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)}^2}$
$=\text{-}\frac{e^{z_i^{[m]}}}{\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)}\frac{e^{z_j^{[m]}}}{\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)}=\text{-}{a}_i^{[m]}{a}_j^{[m]}$
$i=j$时，有：
$\frac{\partial a_i^{[m]}}{\partial z_j^{[m]}}=\frac{\partial a_j^{[m]}}{\partial z_j^{[m]}}=\frac{\partial \left(\frac{e^{z_j^{[m]}}}{e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}}\right)}{\partial z_j^{[m]}}=\frac{e^{z_j^{[m]}}\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)-e^{z_j^{[m]}}{e}^{z_j^{[m]}}}{{\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)}^2}$
$=\frac{e^{z_j^{[m]}}}{\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)}-{\left(\frac{e^{z_j^{[m]}}}{\left(e^{z_1^{[m]}}+e^{z_2^{[m]}}+\cdots +e^{z_j^{[m]}}+\cdots +e^{z_{n_1}^{[m]}}\right)}\right)}^2=a_j^{[m]}-{\left(a_j^{[m]}\right)}^2$
总结有：
$\frac{\partial a_i^{[m]}}{\partial z_j^{[m]}}\text{=}\{\begin{array}{c}\text{-}\begin{array}{cc}{a}_i^{[m]}{a}_j^{[m]}& i\ne j\end{array}\\ \begin{array}{cc}{a}_j^{[m]}-{\left(a_j^{[m]}\right)}^2& i=j\end{array}\end{array}$
把上式带入到$\frac{\partial J}{\partial Z}$中得到：

$\frac{\partial J}{\partial Z}\text{=}\left(\begin{array}{cccc}\frac{\partial J}{\partial z_1^{[1]}}& \frac{\partial J}{\partial z_1^{[2]}}& \cdots & \frac{\partial J}{\partial z_1^{[M]}}\\ \frac{\partial J}{\partial z_2^{[1]}}& \frac{\partial J}{\partial z_2^{[2]}}& \cdots & \frac{\partial J}{\partial z_2^{[M]}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial J}{\partial z_{n_1}^{[1]}}& \frac{\partial J}{\partial z_{n_1}^{[2]}}& \cdots & \frac{\partial J}{\partial z_{n_1}^{[M]}}\end{array}\right)=\left(\begin{array}{cccc}\sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[1]}}\frac{\partial a_i^{[1]}}{\partial z_1^{[1]}}& \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[2]}}\frac{\partial a_i^{[2]}}{\partial z_1^{[2]}}& \cdots & \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[M]}}\frac{\partial a_i^{[M]}}{\partial z_1^{[M]}}\\ \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[1]}}\frac{\partial a_i^{[1]}}{\partial z_2^{[1]}}& \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[2]}}\frac{\partial a_i^{[2]}}{\partial z_2^{[2]}}& \cdots & \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[M]}}\frac{\partial a_i^{[M]}}{\partial z_2^{[M]}}\\ ⋮& ⋮& \ddots & ⋮\\ \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[1]}}\frac{\partial a_i^{[1]}}{\partial z_{n_1}^{[1]}}& \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[2]}}\frac{\partial a_i^{[2]}}{\partial z_{n_1}^{[2]}}& \cdots & \sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[M]}}\frac{\partial a_i^{[M]}}{\partial z_{n_1}^{[M]}}\end{array}\right)$
代入$\frac{\partial J}{\partial a_i^{[m]}}$和$\frac{\partial a_i^{[m]}}{\partial z_j^{[m]}}$有：
$\frac{\partial J}{\partial z_j^{[m]}}\text{=}\sum _{i=1}^{n_1}\frac{\partial J}{\partial a_i^{[m]}}\frac{\partial a_i^{[m]}}{\partial z_j^{[m]}}=-\frac{1}{M}\left(\frac{y_1^{[m]}}{a_1^{[m]}}\left(\text{-}{a}_1^{[m]}{a}_j^{[m]}\right)+\frac{y_2^{[m]}}{a_2^{[m]}}\left(\text{-}{a}_2^{[m]}{a}_j^{[m]}\right)+\cdots +\frac{y_j^{[m]}}{a_j^{[m]}}\left(a_j^{[m]}-{\left(a_j^{[m]}\right)}^2\right)+\cdots +\frac{y_{n_1}^{[m]}}{a_{n_1}^{[m]}}\left(\text{-}{a}_{n_1}^{[m]}{a}_j^{[m]}\right)\right)$
$\text{=}-\frac{1}{M}\left(y_j^{[m]}\text{-}{y}_1^{[m]}{a}_j^{[m]}\text{-}{y}_2^{[m]}{a}_j^{[m]}\text{-}\cdots \text{-}{y}_{n_1}^{[m]}{a}_j^{[m]}\right)\text{=}-\frac{1}{M}\left(y_j^{[m]}\text{-}{a}_j^{[m]}\left(y_1^{[m]}\text{+}{y}_2^{[m]}\text{+}\cdots \text{+}{y}_{n_1}^{[m]}\right)\right)$
因为前面已经约定过每一列${\left(\begin{array}{cccc}{y}_1^{[m]}& y_2^{[m]}& \cdots & y_{n_1}^{[m]}\end{array}\right)}^T$中有且只有一个$y_i^{[m]}$为1，其余都为0，所以：
$y_1^{[m]}\text{+}{y}_2^{[m]}\text{+}\cdots \text{+}{y}_{n_1}^{[m]}\text{=}1$
代入上面有：
$\frac{\partial J}{\partial z_j^{[m]}}\text{=}-\frac{1}{M}\left(y_j^{[m]}\text{-}{a}_j^{[m]}\right)\text{=}\frac{1}{M}\left(a_j^{[m]}\text{-}{y}_j^{[m]}\right)$
进一步把$\frac{\partial J}{\partial z_j^{[m]}}$代入$\frac{\partial J}{\partial Z}$中有：
$\frac{\partial J}{\partial Z}\text{=}\frac{1}{M}\left(A-Y\right)$
接下来计算$\frac{\partial J}{\partial W}$和$\frac{\partial J}{\partial B}$：
$\frac{\partial J}{\partial W}\text{=}\left(\begin{array}{cccc}\frac{\partial J}{\partial w_{11}}& \frac{\partial J}{\partial w_{12}}& \cdots & \frac{\partial J}{\partial w_{1n_0}}\\ \frac{\partial J}{\partial w_{21}}& \frac{\partial J}{\partial w_{22}}& \cdots & \frac{\partial J}{\partial w_{2n_0}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial J}{\partial w_{n_{1}1}}& \frac{\partial J}{\partial w_{n_{1}2}}& \cdots & \frac{\partial J}{\partial w_{n_1{n}_0}}\end{array}\right)\text{=}\left(\begin{array}{cccc}\sum _{m=1}^M\frac{\partial J}{\partial z_1^{[m]}}\frac{\partial z_1^{[m]}}{\partial w_{11}}& \sum _{m=1}^M\frac{\partial J}{\partial z_1^{[m]}}\frac{\partial z_1^{[m]}}{\partial w_{12}}& \cdots & \sum _{m=1}^M\frac{\partial J}{\partial z_1^{[M]}}\frac{\partial z_1^{[M]}}{\partial w_{1n_0}}\\ \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}\frac{\partial z_2^{[m]}}{\partial w_{21}}& \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}\frac{\partial z_2^{[m]}}{\partial w_{22}}& \cdots & \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}\frac{\partial z_2^{[m]}}{\partial w_{2n_0}}\\ ⋮& ⋮& \ddots & ⋮\\ \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}\frac{\partial z_{n_1}^{[m]}}{\partial w_{n_{1}1}}& \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}\frac{\partial z_{n_1}^{[m]}}{\partial w_{n_{1}2}}& \cdots & \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}\frac{\partial z_{n_1}^{[m]}}{\partial w_{n_1{n}_0}}\end{array}\right)$
$\text{==}\left(\begin{array}{cccc}\sum _{m=1}^M\frac{\partial J}{\partial z_1^{[m]}}{x}_1^{[m]}& \sum _{m=1}^M\frac{\partial J}{\partial z_1^{[m]}}{x}_2^{[m]}& \cdots & \sum _{m=1}^M\frac{\partial J}{\partial z_1^{[M]}}{x}_{n_0}^{[m]}\\ \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}{x}_1^{[m]}& \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}{x}_2^{[m]}& \cdots & \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}{x}_{n_0}^{[m]}\\ ⋮& ⋮& \ddots & ⋮\\ \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}{x}_1^{[m]}& \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}{x}_2^{[m]}& \cdots & \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}{x}_{n_0}^{[m]}\end{array}\right)\text{=}\left(\begin{array}{cccc}\frac{\partial J}{\partial z_1^{[1]}}& \frac{\partial J}{\partial z_1^{[2]}}& \cdots & \frac{\partial J}{\partial z_1^{[M]}}\\ \frac{\partial J}{\partial z_2^{[1]}}& \frac{\partial J}{\partial z_2^{[2]}}& \cdots & \frac{\partial J}{\partial z_2^{[M]}}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial J}{\partial z_{n_1}^{[1]}}& \frac{\partial J}{\partial z_{n_1}^{[2]}}& \cdots & \frac{\partial J}{\partial z_{n_1}^{[M]}}\end{array}\right)\left(\begin{array}{cccc}{x}_1^{[1]}& x_2^{[1]}& \cdots & x_{n_0}^{[1]}\\ x_1^{[2]}& x_2^{[2]}& \cdots & x_{n_0}^{[2]}\\ ⋮& ⋮& \ddots & ⋮\\ x_1^{[M]}& x_2^{[M]}& \cdots & x_{n_0}^{[M]}\end{array}\right)$
$=\frac{\partial J}{\partial Z}{X}^T$
$\frac{\partial J}{\partial B}\text{=}\left(\begin{array}{c}\frac{\partial J}{b_1}\\ \frac{\partial J}{b_2}\\ ⋮\\ \frac{\partial J}{b_{n_1}}\end{array}\right)\text{=}\left(\begin{array}{c}\sum _{m=1}^M\frac{\partial J}{\partial z_1^{[m]}}\frac{\partial z_1^{[m]}}{\partial b_1}\\ \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}\frac{\partial z_2^{[m]}}{\partial b_2}\\ ⋮\\ \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}\frac{\partial z_2^{[m]}}{\partial b_{n_1}}\end{array}\right)=\left(\begin{array}{c}\sum _{m=1}^M\frac{\partial J}{\partial z_1^{[m]}}\\ \sum _{m=1}^M\frac{\partial J}{\partial z_2^{[m]}}\\ ⋮\\ \sum _{m=1}^M\frac{\partial J}{\partial z_{n_1}^{[m]}}\end{array}\right)=sum(\frac{\partial J}{\partial Z},axis=1)$
最后，参数更新方法为：
$W=W-\frac{\partial J}{\partial W}$
$B=B-\frac{\partial J}{\partial W}$

3.4 算法总结

前向传播过程
$Z=WX+B$
$A=g(Z)$
$J\text{=}\frac{1}{M}\sum _{m=1}^M\sum _{i=1}^{n_1}\text{-}{y}_i^{[m]}\ln \left(a_i^m\right)$
反向传播过程
$\frac{\partial J}{\partial Z}\text{=}\frac{1}{M}\left(A-Y\right)$
$\frac{\partial J}{\partial W}=\frac{\partial J}{\partial Z}{X}^T$
$\frac{\partial J}{\partial B}\text{=}sum(\frac{\partial J}{\partial Z},axis=1)$
参数更新方法
$W=W-\frac{\partial J}{\partial W}$
$B=B-\frac{\partial J}{\partial W}$
我们可以发现一个很巧合的现象，即Softmax回归反向传播的表达式和Logistc回归居然一模一样！！！（参考前面介绍过的Logistic回归原理）
所以Softmax函数可以认为是一种高纬度的Logistic回归，二者在反向传播过程中具有一致性。这也是采用向量式的标签Y的原因之一。

4. 代码实现

# -*- coding: utf-8 -*-
"""
Created on Tue Nov 19 17:14:55 2019

@author: Iseno_V
"""

import numpy as np

#Softmax函数
def g(z):
    t = np.sum(np.exp(z),axis=0,keepdims=True)
    return np.exp(z)/t

#生成训练数据和测试数据
#生成了四类数据，分别为表平面坐标系的四个象限
def createData(m):
    m/=4
    m = int(m)
    D1 = np.random.rand(1,m)*10
    D2 = np.random.rand(1,m)*10
    X1 = np.vstack((D1,D2))
    
    D1 = np.random.rand(1,m)*(-1)*10
    D2 = np.random.rand(1,m)*10
    X2 = np.vstack((D1,D2))
    
    D1 = np.random.rand(1,m)*(-1)*10
    D2 = np.random.rand(1,m)*(-1)*10
    X3 = np.vstack((D1,D2))
    
    D1 = np.random.rand(1,m)*10
    D2 = np.random.rand(1,m)*(-1)*10
    X4 = np.vstack((D1,D2))
    
    X = np.hstack((X1,X2,X3,X4))
    
    Y = np.zeros((4,m*4))
    
    for i in range(4):
        for j in range(int(m)):
            Y[i][i*m+j] = 1
    return X,Y

#定义网络基本参数
m = 10000#数据集大小
n = [2,4]#输入维数和输出维数，分别对应 特征维数 和 分类的个数
X_train,Y_train = createData(m)#生成训练集
X_test,Y_test = createData(m)#生成测试集
W = np.random.rand(n[1],n[0])*0.01#初始化参数矩阵W
B = np.random.rand(n[1],1)*0.01#初始化参数矩阵B
I = 1000#迭代次数
alpha = 0.001#学习率

#训练过程
for i in range(I):
    #前向传播
    Z = np.dot(W,X_train)+B
    A = g(Z)
    #每100轮训练输出损失函数
    if i%100==0:
        J = 0
        for j in range(m):
            J += np.dot(Y_train[:,j].T,np.log(A[:,j]))
        J = -J/m
        print('step = ',i,',cost function = ',J)
    #反向传播
    dz = 1/m*(A-Y_train)
    dw = np.dot(dz,X_train.T)
    db = np.sum(dz,axis=1)
    W=W-alpha*dw
    B=B-alpha*db

#测试过程
Z = np.dot(W,X_test)+B
A = g(Z)
corr = 0
for i in range(m):
    p = A[:,i].argmax()
    if Y_test[p,i] == 1:
        corr+=1
rate = corr/m
print('accuracy = ',rate)
    

代码运行结果为：

总之，Softmax回归一般用于解决线性多分类问题，非线性问题一般无能为力。对于非线性多分类问题，我们可以通过在全连接网络中使用Softmax激活函数来实现，这些内容会在下一期介绍。