24、自然语言处理工具：spaCy与NLTK的深入解析

最新推荐文章于 2026-02-03 02:45:03 发布

原创最新推荐文章于 2026-02-03 02:45:03 发布 · 189 阅读

0 GEO检测

掌握NLP：从理论到实践专栏收录该内容

32 篇文章 ¥499.90

订阅专栏¥69.90

会员秒杀 ¥9.9 重磅福利

超级会员免费看

自然语言处理工具：spaCy与NLTK的深入解析

1. spaCy简介

spaCy是一个免费的开源高级自然语言处理（NLP）库，使用Python和Cython编程语言编写。它由软件公司Explosion的创始人Matthew Honnibal博士和Ines Montani博士开发，并遵循MIT许可证发布。与专注于教学和学习的NLTK不同，spaCy专为生产环境设计，可用于构建处理大量文本的NLP应用程序。

1.1 spaCy的特点

多语言支持 ：提供基于NLP的统计模型，支持超过19种常用语言，同时实现了超过60种国际语言的分词工具。
机器学习集成 ：提供机器学习和深度学习工具的工作流管道，可通过其名为Thinc的机器学习库与PyTorch、MXNet和TensorFlow等常见平台集成。
丰富的NLP组件 ：提供循环神经网络模型，如卷积神经网络（CNN），用于实现依赖解析（DP）、命名实体识别（NER）、词性标注和文本分类等NLP任务，还可用于自然语言理解（NLU）系统、信息检索（IR）、信息提取（IE）系统和问答聊天机器人系统等高级应用。
技术集成 ：支持与最新的Transformer和BERT技术集成。
用户友好 ：提供模块化的系统包装、评估和部署工具，方便用户使用。

1.2 spaCy的安装

spaCy可以在MacOS/OSX、MS Windows和Linux平台上安装，安装方式与其他基于Python的开发工具（如NLTK）类似。

2. 使用spaCy进行分词

分词是NLP中的一项基本操作，spaCy提供了一种简单易用的方案，可将任何文本文档分词为句子，进一步将句子分词为单词。下面以“Adventures_Holmes.txt”为例，演示如何使用spaCy进行分词。

2.1 分词步骤

# Step 1: 导入spaCy模块
import spacy

# Step 2: 加载spaCy模块 "en_core_web_sm"
nlp = spacy.load("en_core_web_sm")

# Step 3: 打开并读取文本文件 "Adventures_Holmes.txt"
fholmes = open("Adventures_Holmes.txt", "r", encoding="utf-8")

# Step 4: 读取文本文件内容
holmes = fholmes.read()

# Step 5: 替换所有换行符
holmes = holmes.replace("\n", " ")

# Step 6: 简单计数，查看文本的字符总数
print(len(holmes))

# Step 7: 调用spaCy的nlp()方法
holmes_doc = nlp(holmes)

# Step 8: 将文本文档转换为句子对象
holmes_sentences = [sentence.text for sentence in holmes_doc.sents]

# 查看句子数量
print(len(holmes_sentences))

# 列出第50 - 59个句子
print(holmes_sentences[50:60])

# Step 9: 直接将文本文档分词为单词
holmes_words = [token.text for token in holmes_doc]
print(len(holmes_words))

# 使用NLTK进行分词
import nltk
nltk_homles_tokens = nltk.word_tokenize(holmes)

2.2 分词结果比较

根据提取的分词结果，spaCy和NLTK的分词结果似乎相同，但需要进一步探讨以下问题：
1. 它们是否100%相同？
2. 存在哪些差异？
3. 哪个工具更好？

3. spaCy与NLTK的效率比较

在许多AI和NLP应用中，速度（即效率）是一个重要的考虑因素。因为许多应用涉及大量数据的系统训练，以及实时信息提取等任务，NLP操作的效率直接影响应用在现实场景中的可用性。下面将比较NLTK和spaCy在文本文档分词方面的效率。

3.1 效率比较步骤

实现NLTK和spaCy的文档分词代码，并使用时间对象记录分词时间。
检查使用NLTK和spaCy方法对“Adventures_Holmes.txt”进行分词所需的时间。
比较哪个工具更快，或者它们的效率是否相似，并分析原因。
比较NLTK和spaCy在文档到文本转换方面的效率。

3.2 效率比较代码示例

import nltk
import spacy
import time

# NLTK分词效率测试
start = time.time()
nltk_tokenizer = nltk.data.load("tokenizers/punkt/english.pickle")
nltk_sentences = nltk_tokenizer.tokenize(holmes)
print("NLTK Time taken: %s s" % (time.time() - start))

# spaCy分词效率测试
start = time.time()
nlp = spacy.load("en_core_web_sm")
holmes_doc = nlp(holmes)
holmes_sentences = [sentence.text for sentence in holmes_doc.sents]
print("spaCy Time taken: %s s" % (time.time() - start))

4. 使用NLTK进行词性标注

词性标注是NLP中的一项重要任务，下面将介绍如何使用NLTK进行词性标注。在开始之前，请确保以下Python包已安装：
- Python（演示版本3.11.9）
- NLTK（演示版本3.9.1）
- matplotlib（演示版本3.9.2）
- WordCloud（演示版本1.9.3）
- svgling（演示版本0.5.0）
- svgwrite（演示版本1.4.3）
- scikit-learn（演示版本1.5.1）
- spacy（演示版本3.4.4）

4.1 词性标注前的准备

在进行词性标注之前，需要对分词技术进行简单回顾，并了解两个基本的词级处理过程：词干提取和停用词去除。词干提取有两种技术：Porter Stemmer和Snowball Stemmer，它们可以与常用于数据可视化的WordCloud集成。此外，还将介绍PENN Treebank Tagset，以便创建自己的词性标注器。

4.2 使用NLTK进行分词

NLTK提供了将文本划分为子单元的方法，下面以Twitter样本语料为例，演示如何使用NLTK进行分词。

4.2.1 分词步骤

# Step 1: 导入NLTK包
import nltk

# Step 2: 导入Twitter样本数据
from nltk.corpus import twitter_samples as twtr

# Step 3: 列出字段
print(twtr.fileids())

# Step 4: 获取Twitter字符串列表
stwtr = twtr.strings('tweets.20150430-223406.json')

# Step 5: 列出前5条Twitter消息
print(stwtr[:5])

# Step 6: 对第5条Twitter消息进行分词
from nltk.tokenize import word_tokenize as w_tok
print(w_tok(stwtr[4]))

# 使用wordpunct_tokenize进行分词
from nltk.tokenize import wordpunct_tokenize as wp_tok
print(wp_tok(stwtr[4]))

4.3 NLTK分词工具总结

分词工具	说明
word_tokenize	对文本进行基本的分词操作
wordpunct_tokenize	对标点和空格进行分词
正则表达式（RegEx）分词器	可构建自定义分词器

4.4 分词流程mermaid图

graph LR
    A[导入NLTK包] --> B[导入Twitter样本数据]
    B --> C[列出字段]
    C --> D[获取Twitter字符串列表]
    D --> E[列出前5条Twitter消息]
    E --> F[对第5条Twitter消息进行分词]
    F --> G[使用wordpunct_tokenize进行分词]

综上所述，spaCy和NLTK都是强大的NLP工具，它们在不同方面具有各自的优势。在实际应用中，需要根据具体需求选择合适的工具。例如，对于生产环境中的大规模文本处理，spaCy可能更合适；而对于教学和学习，NLTK则提供了丰富的资源和易于理解的接口。通过对它们的深入了解和实践，可以更好地应用这些工具解决各种NLP问题。

5. NLTK词性标注的深入操作

5.1 词干提取技术

词干提取是将单词还原为其基本形式的过程，NLTK中常用的词干提取技术有Porter Stemmer和Snowball Stemmer。以下是使用这两种技术的示例代码：

from nltk.stem import PorterStemmer, SnowballStemmer

# Porter Stemmer示例
porter = PorterStemmer()
words = ["running", "jumps", "played"]
porter_stems = [porter.stem(word) for word in words]
print("Porter Stemmer结果:", porter_stems)

# Snowball Stemmer示例
snowball = SnowballStemmer("english")
snowball_stems = [snowball.stem(word) for word in words]
print("Snowball Stemmer结果:", snowball_stems)

5.2 停用词去除

停用词是指在文本中频繁出现但对文本理解没有实质性帮助的词语，如“the”、“and”、“is”等。NLTK提供了停用词列表，可以方便地进行停用词去除操作。示例代码如下：

from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize

# 加载英文停用词
stop_words = set(stopwords.words('english'))

# 示例文本
text = "This is an example sentence for stop word removal."
tokens = word_tokenize(text)

# 去除停用词
filtered_tokens = [word for word in tokens if word.lower() not in stop_words]
print("去除停用词后的结果:", filtered_tokens)

5.3 PENN Treebank Tagset与自定义词性标注器

PENN Treebank Tagset是一种常用的词性标注集，包含了丰富的词性标签。可以使用NLTK结合PENN Treebank Tagset创建自定义的词性标注器。以下是一个简单的示例：

import nltk
from nltk.corpus import treebank

# 加载树库语料
train_data = treebank.tagged_sents()[:3000]
test_data = treebank.tagged_sents()[3000:]

# 创建自定义词性标注器
t0 = nltk.DefaultTagger('NN')
t1 = nltk.UnigramTagger(train_data, backoff=t0)
t2 = nltk.BigramTagger(train_data, backoff=t1)

# 评估标注器
accuracy = t2.evaluate(test_data)
print("自定义词性标注器的准确率:", accuracy)

5.4 词性标注流程mermaid图

graph LR
    A[词干提取] --> B[停用词去除]
    B --> C[使用PENN Treebank Tagset]
    C --> D[创建自定义词性标注器]
    D --> E[评估标注器]

6. spaCy与NLTK的综合比较

6.1 功能比较

工具	多语言支持	机器学习集成	分词功能	词性标注	自定义能力
spaCy	支持超19种常用语言，超60种国际语言分词	可与PyTorch、MXNet、TensorFlow集成	简单易用，可分句子和单词	提供丰富组件	模块化包装、评估和部署方便
NLTK	有一定多语言支持	集成能力相对弱	多种分词工具，可自定义	可创建自定义标注器	提供丰富资源用于自定义