NLP_jieba中文分词的常用模块

1.jieba分词模式

（1）精确模式: 把句子最精确的切分开, 比较适合文本分析. 默认精确模式.
（2）全模式: 把句子中所有可能成词的词都扫描出来, cut_all = True, 缺点: 速度快, 不能解决歧义
（3）paddle: 利用百度的paddlepaddle深度学习框架. 简单来说就是使用百度提供的分词模型. use_paddle=True.
（4）搜索引擎模式: 在精确模式的基础上, 对长词再进行切分, 提高召回率, jieba.cut_for_search

1.精确模式分词

import jieba


text = '我在北京大学上学'  #待分词的文本

cut_text_generator = jieba.cut(text)  # 注意精确模式返回的是生成器

next(cut_text_generator)  #显示分词结果方法一   （一个一个词显示）

#显示分词结果方法二：循环输出
for word in cut_text_generator:
    print(word)

#将分词结果转化为列表  进行输出
list(cut_text_generator)  #生成器放入列表中会直接转化为列表

#使用lcut分词， l=list 返回的就是列表
cuted_words = jieba.lcut(text)
print(cuted_words)

 分词列表输出结果：

['我', '在', '北京大学', '上学']

2.全模式分词 

text = '我在北京大学上学'  #待分词的文本

cuted_all_words = jieba.lcut(text, cut_all = True)
print(cuted_all_words)