HanLP 2.x 的安装与使用

该文章已生成可运行项目,

HanLP 的 1.x 和 2.x 及安装

HanLP 有两个版本,1.x 和 2.x

HanLP 1.x

1.x 是基于 java 的,底层是传统的 NLP 方法,提供 python 接口,可以通过 pyhanlp 来调用 HanLP。2014年发布,至今依然在维护。

HanLP 1.x 的安装

从本质上来说,HanLP 1.x 是个 java 包,所以需要(1)先安装 java;(2)将java 添加到环境变量;(3)安装 python 的 pyhanlp 包;(4)在 python 中通过 pyhanlp 来调用 HanLP

# HanLP 1.x python 版的安装语句:

pip install pyhanlp

具体安装教程,参考blog.csdn.net/Sun_Weiss/article/details/106956111?spm=1001.2014.3001.5501

底层的 NLP 原理,可以阅读 HanLP 作者何晗的书《自然语言处理入门》

参考:

Hanlp、pyhanlp 的区别是什么? - 综合讨论 - HanLP中文社区

HanLP 2.x

2.x 是基于 python 的,底层是机器学习方法,直接在 python 中安装和调用 hanlp 即可。2020年发布,和 1.x 完全是两个包了。

HanLP 2.x 的安装

官方建议安装在线 API 版,体积小,易使用,官方教程也比较完善。但是还得申请 API 密钥,且有调用额度限制,也挺麻烦。

安装 | 在线演示

所以还是打算安装本地版

由于 HanLP 2.x 底层是机器学习方法,所以要依赖 Tensorflow 和 PyTorch 包。但最坑的地方在于,HanLP 2.x 对于 Tensorflow 和 PyTorch 的版本有严格的要求,如果自行安装了 Tensorflow 和 PyTorch ,很可能会和 HanLP 2.x 有兼容性冲突,导致各种报错。

所以本地版的安装建议是:

(1)如果可能,最好给 HanLP 2.x 一个独立的 Python 环境,和你的机器学习环境隔离开来

(2)如果做不到,最好先卸载自己已经安装的 Tensorflow ,在安装 HanLP 2.x 的时候,它会自己安装版本合适的 Tensorflow

# 卸载  Tensorflow

pip uninstall tensorflow

(3)安装 HanLP 2.x 本地版时,务必安装完整版——精简版会各种报错,很难解决。

# HanLP 2.x 本地完整版的安装语句:

pip install hanlp[full]

HanLP 2.x 的使用

安装完之后,可以开始使用 hanlp 了

HanLP 2.x 支持十几种不同的自然语言处理任务,具体的可以参考官方文档:hankcs/HanLP: 中文分词 词性标注 命名实体识别 依存句法分析 成分句法分析 语义依存分析 语义角色标注 指代消解 风格转换 语义相似度 新词发现 关键词短语提取 自动摘要 文本分类聚类 拼音简繁转换 自然语言处理

本文章已经生成可运行项目
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值