R语言文本分析|利用jiebaR进行分词与词频统计

文本分词与词频统计是中文文本分析的重要内容，也是主题分析和情感分析的基础，因此如何分词以及改进分词效果是进行文本分析的关键。jiebaR包是R语言中进行文本分析一个十分方便的package，能够对中文文本进行有效处理，此外通过能够通过添加自定义词以及去停用词功能，能够进一步修改和完善分词效果，最后可以结合dplyr包进行词频统计，并且利用绘图函数进行词云图、柱状图、扇形图等图形绘制。

1.1当前网上相关教程存在的一些问题

• 多数教程以一个句子为例，但在做研究过程中，我们往往导入的是一个txt文本或者说是一个Excel文件；

• 对停用词、自定义词关注较少，分词结果的好坏在很大程度上取决于停用词和自定义词；

• 缺乏丰富的展示方法，往往只有一个词云图，除了词云图外还可以进一步绘制柱状图以及饼图等多种图形。

1.2本文主要解决的问题

• 以txt文本数据和Excel数据为例，利用jiebaR进行分词，并导出分词结果；

• 在初步分词结果的基础上，加载自定义词表与去停用词表，进一步优化分词结果；

• 利用dplyr中的arrange函数将分词结果进行排序，并以csv文件进行导出；

• 利用wordcloud2、RColorBrewer等多个包或绘图函数对分词结果进行可视化：包括词云图、柱状图、饼图。