【深度学习实践】数据增强（数据增广）

最新推荐文章于 2026-04-12 08:31:16 发布

原创最新推荐文章于 2026-04-12 08:31:16 发布 · 2.2k 阅读

30 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

收录于

哈佛博后带你玩转机器学习

深度学习

该文章已生成可运行项目，

深度学习中的数据增强（数据增广）

数据增强（Data Augmentation）是一种通过对原始数据进行变换，生成更多训练样本的技术。它可以有效提高模型的泛化能力，减少过拟合现象，特别是在数据量较少的情况下。数据增强在图像、文本、语音等不同领域都有广泛应用。

1. 图像数据增强

图像数据增强主要通过几何变换、颜色变换、噪声添加等方式来增加数据多样性，常见方法包括：

翻转（Flip）：水平或垂直翻转图像。
旋转（Rotation）：随机旋转一定角度。
缩放（Scaling）：调整图像大小。
裁剪（Cropping）：随机裁剪部分图像。
平移（Translation）：图像沿X/Y轴移动。
仿射变换（Affine Transformation）：应用缩放、旋转、平移等组合变换。
颜色变换（Color Jittering）：改变亮度、对比度、饱和度。
添加噪声（Adding Noise）：加入高斯噪声、椒盐噪声。
混合增强（Mixup, CutMix）：混合多个样本数据。

常用的 Python 库：

imgaug：支持多种数据增强方法。
albumentations：高效的数据增强库，适用于深度学习。
torchvision.transforms：PyTorch 官方数据增强库。
opencv（cv2）：计算机视觉库，支持基本图像变换。

2. 文本数据增强

文本数据增强相较于图像更加复杂，常见方法有：

同义词替换（Synonym Replacement）：用同义词替换句子中的部分词语。
随机插入（Random Insertion）：在句子中插入相关词语。
随机交换（Random Swap）：随机交换句子中的两个词语。
随机删除（Random Deletion）：随机删除句子中的部分词语。
回译（Back Translation）：将文本翻译成另一种语言再翻译回来。
字词扰动（Character/Word Perturbation）：打乱、拼写错误等变换。
EDA（Easy Data Augmentation）：结合以上方法的文本增强技术。

常用的 Python 库：

nltk：提供文本处理和词义替换功能。
TextAttack：自然语言处理（NLP）对抗攻击与增强工具。
NLTK 和 spaCy：可用于词性分析和同义词替换。
transformers（Hugging Face）: 支持回译和生成式数据增强。

代码案例

案例 1：图像翻转与旋转增强（使用 `torchvision`）

案例描述：对一张图像进行水平翻转、垂直翻转以及随机旋转操作。

案例分析：使用 torchvision.transforms 进行数据增强，主要包括：

RandomHorizontalFlip() 进行水平翻转。
RandomVerticalFlip() 进行垂直翻转。
RandomRotation() 进行随机角度旋转。

算法步骤：

读取或生成一张示例图像。
使用 torchvision.transforms 进行数据增强。
显示原图和增强后的图像。

Python 代码：

import torch
import torchvision.transforms as transforms
from PIL import Image
import matplotlib.pyplot as plt

# 生成随机彩色图片
img = Image.new('RGB', (100, 100), color=(255, 0, 0))  # 生成100x100红色图像

# 定义数据增强方法
transform = transforms.Compose([
    transforms.RandomHorizontalFlip(p=1),  # 100% 概率翻转
    transforms.RandomVerticalFlip(p=1),    # 100% 概率翻转
    transforms.RandomRotation(degrees=45)  # 旋转 -45° 到 45° 之间
])

# 进行数据增强
img_flip_h = transforms.RandomHorizontalFlip(p=1)(img)
img_flip_v = transforms.RandomVerticalFlip(p=1)(img)
img_rotated = transforms.RandomRotation(45)(img)

# 显示图像
fig, ax = plt.subplots(1, 4, figsize=(12, 3))
ax[0].imshow(img); ax[0].set_title("Original")
ax[1].imshow(img_flip_h); ax[1].set_title("Horizontal Flip")
ax[2].imshow(img_flip_v); ax[2].set_title("Vertical Flip")
ax[3].imshow(img_rotated); ax[3].set_title("Rotated 45°")
plt.show()

案例 2：文本同义词替换增强（使用 `NLTK`）

案例描述：对输入文本的部分单词进行同义词替换，以生成新的样本。

案例分析：

使用 nltk.corpus.wordnet 获取单词的同义词。
随机选择单词进行替换。

算法步骤：

读取输入文本。
使用 NLTK 获取候选替换单词。
随机替换部分单词并返回新文本。

Python 代码：

import nltk
from nltk.corpus import wordnet
import random

# 下载 WordNet 词库
nltk.download('wordnet')

def synonym_replacement(sentence, n=1):
    words = sentence.split()
    new_words = words[:]
    random_word_list = list(set([word for word in words if wordnet.synsets(word)]))
    
    if len(random_word_list) == 0:
        return sentence  # 没有可替换的单词

    num_replaced = 0
    while num_replaced < n:
        word_to_replace = random.choice(random_word_list)
        synonyms = wordnet.synsets(word_to_replace)
        lemmas = set(chain.from_iterable([word.lemma_names() for word in synonyms]))

        if len(lemmas) >= 1:
            synonym = random.choice(list(lemmas))
            new_words = [synonym if word == word_to_replace else word for word in new_words]
            num_replaced += 1

    return ' '.join(new_words)

# 示例文本
sentence = "The quick brown fox jumps over the lazy dog"
augmented_sentence = synonym_replacement(sentence, n=2)

print("Original:", sentence)
print("Augmented:", augmented_sentence)