深度学习系列（一）

原创于 2025-07-02 15:31:32 发布 · 1.3k 阅读

30 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

深度学习

基础

深度学习是机器学习的一个子领域，通过模拟人脑神经元的连接结构（神经网络），构建多层次的模型自动学习数据特征。
核心特点：

深度结构：包含多个隐藏层（>3层），可提取数据的多层次抽象特征。
端到端学习：直接从原始数据（如图像像素、文本）学习到最终输出（如分类结果），无需人工设计特征。
数据驱动：性能随数据量增加显著提升。

深度学习作为机器学习的重要分支，通过模拟人脑神经网络的结构与功能，实现了对复杂数据模式的自动学习。其核心在于构建多层非线性变换模型，能够从原始数据中逐层提取抽象特征。2012年AlexNet在ImageNet竞赛中的突破性表现标志着深度学习时代的开启，此后在计算机视觉、自然语言处理、语音识别等领域持续取得革命性进展。

在这里插入图片描述
学习路径建议
基础铺垫：

数学：线性代数、微积分、概率论
Python编程 + NumPy/Pandas

核心理论：

神经网络基础 → CNN → RNN/LSTM → Transformer

学习资源：

书籍：《深度学习》（花书）
课程：Andrew Ng《Deep Learning Specialization》（Coursera）

实践框架：

PyTorch（研究首选）：动态图更灵活
TensorFlow（工业部署强）：静态图优化好

项目实战：

Kaggle竞赛（如图像分类、NLP比赛）
复现经典论文（如ResNet、BERT）
部署模型到移动端/网页（TensorFlow Lite, ONNX）

一、神经网络基础架构

神经元模型
基本计算单元模拟生物神经元：
$\sum_{i=1}^n w_i x_i + b$
其中 $x_i$ 为输入， $w_i$ 为权重， $b$ 为偏置。通过激活函数 $f(⋅)f(\cdot)$ 引入非线性：
$a = f (z)$
激活函数
- ReLU（Rectified Linear Unit）：
  $\max(0, z)$
  解决梯度消失问题，计算高效
- Sigmoid：
  $\sigma(z) = \frac{1}{1 + e^{-z}}$
  适用于概率输出
- Tanh：
  $\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$
  输出中心化
网络拓扑
- 输入层：接收原始数据（如像素值、词向量）
- 隐藏层：特征抽象层（典型深度网络含5-100+层）
- 输出层：任务适配（Softmax用于分类，线性层用于回归）

二、核心训练技术

反向传播算法
通过链式法则计算损失函数 $L$ 对参数的梯度：
$\frac{\partial L}{\partial w_{ij}^{(l)}} = \delta_j^{(l)} \cdot a_i^{(l-1)}$
其中 $δj(l)\delta_j^{(l)}$ 为第 $l$ 层第 $j$ 个神经元的误差项，反向逐层传播。
优化算法
- 随机梯度下降（SGD）：
  $w_{t+1} = w_t - \eta \nabla L(w_t)$
- Adam：结合动量与自适应学习率
  $m_t = \beta_1 m_{t-1} + (1 - \beta_1) g_t$
  $v_t = \beta_2 v_{t-1} + (1 - \beta_2) g_t^2$
  偏差校正后更新权重
损失函数
- 交叉熵损失（分类）：
  $-\sum_{c=1}^K y_c \log(p_c)$
- 均方误差（回归）：
  $L=1N∑i=1N(yi−y^i)2 L = \frac{1}{N} \sum_{i=1}^N (y_i - \hat{y}_i)^2$

三、关键技术突破

卷积神经网络（CNN）
- 卷积层：局部感受野与权值共享
  $Y_{i,j,d} = \sum_{c=1}^C \sum_{u=-k/2}^{k/2} \sum_{v=-k/2}^{k/2} K_{u,v,c,d} \cdot X_{i+u,j+v,c}$
- 池化层：下采样保留显著特征（如Max Pooling）
- 典型架构：LeNet-5 → AlexNet → VGG → ResNet（残差连接）
循环神经网络（RNN）与变体
- 基本RNN：
  $h_t = \tanh(W_{xh} x_t + W_{hh} h_{t-1} + b_h)$
- LSTM：门控机制解决长程依赖
  $\begin{aligned} f_t &= \sigma(W_f \cdot [h_{t-1}, x_t]) \\ i_t &= \sigma(W_i \cdot [h_{t-1}, x_t]) \\ o_t &= \sigma(W_o \cdot [h_{t-1}, x_t]) \\ \tilde{C}_t &= \tanh(W_C \cdot [h_{t-1}, x_t]) \\ C_t &= f_t \odot C_{t-1} + i_t \odot \tilde{C}_t \\ h_t &= o_t \odot \tanh(C_t) \end{aligned}$
- GRU：简化门控结构
注意力机制与Transformer
- 自注意力：
  $\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$
- Transformer架构：
  - 编码器/解码器堆叠
  - 多头注意力并行计算
  - 位置编码注入序列信息
生成对抗网络（GAN）
生成器 $G$ 与判别器 $D$ 的极小极大博弈：
$\min_G \max_D \mathbb{E}_{x \sim p_{\text{data}}}[\log D(x)] + \mathbb{E}_{z \sim p_z}[\log(1 - D(G(z)))]$
应用领域：图像生成、风格迁移、数据增强
正则化技术
- Dropout：训练时以概率 $p$ 随机失活神经元
- 批量归一化（BatchNorm）：
  $x^=x−μBσB2+ϵ,y=γx^+β \hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}, \quad y = \gamma \hat{x} + \beta$
  加速收敛，提升泛化能力
- 权重衰减：L2正则化约束参数规模

四、前沿发展与应用

自监督学习
- 对比学习（SimCLR，MoCo）
- 掩码自编码（BERT，MAE）
图神经网络（GNN）
图卷积网络：
$H^{(l+1)} = \sigma(\tilde{D}^{-1/2} \tilde{A} \tilde{D}^{-1/2} H^{(l)} W^{(l)})$
应用于社交网络、分子结构分析
神经架构搜索（NAS）
自动化网络设计（如DARTS，EfficientNet）
应用领域
- 计算机视觉：目标检测（YOLO）、图像分割（U-Net）
- 自然语言处理：机器翻译、文本生成（GPT系列）
- 跨模态学习：CLIP，DALL·E

五、挑战与展望

核心挑战
- 数据依赖性强
- 模型可解释性差
- 计算资源消耗大
- 对抗样本脆弱性
未来方向
- 神经符号融合
- 小样本学习
- 能效优化
- 因果推理建模
- 大模型（LLM）：GPT-4、Claude等千亿参数模型
- 多模态学习：同时处理文本/图像/语音（如DALL·E 3）
- 神经架构搜索（NAS）：自动设计最优网络结构
- 边缘计算：在手机/IoT设备部署轻量模型（TinyML）

# 一个简单的CNN图像分类模型
import torch
import torch.nn as nn

class CNN(nn.Module):
    def __init__(self):
        super().__init__()
        self.layers = nn.Sequential(
            nn.Conv2d(3, 16, kernel_size=3),  # 输入通道3（RGB），输出16通道
            nn.ReLU(),
            nn.MaxPool2d(2),
            nn.Conv2d(16, 32, kernel_size=3),
            nn.ReLU(),
            nn.Flatten(),
            nn.Linear(32*6*6, 10)  # 输出10分类
        )
    
    def forward(self, x):
        return self.layers(x)

# 训练流程
model = CNN()
criterion = nn.CrossEntropyLoss()
optimizer = torch.optim.Adam(model.parameters())

for images, labels in dataloader:
    outputs = model(images)
    loss = criterion(outputs, labels)
    optimizer.zero_grad()
    loss.backward()
    optimizer.step()