使用jieba分词并统计词频

原创已于 2023-05-31 11:17:14 修改 · 1k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#python

于 2023-05-31 11:17:08 首次发布

python 专栏收录该内容

4 篇文章

订阅专栏

该代码示例展示了如何利用Python的jieba库对多行句子进行分词，并统计每个词语的出现次数，最终结果保存为TXT文件。通过读取输入文件，对每一行进行分词处理，然后排序并输出到指定的输出文件中。

遇到一个任务，将很多句子（每行一句，不是整段话）进行分词，然后统计里边每个词语的频数，最后生成txt文件，包括词语和出现的次数

使用了jieba库，代码如下：

import jieba

def seg_word(line ,temp ,counts):
    seg = jieba.cut(line,strip())
    for word in seg:
        if word != '':
            temp += word
            temp += '\n'
            counts[word] = counts.get(word，0) + 1
    return counts
def output(inputfilename, outputfilename):
    inputfile = open(inputfilename, encoding="UTF-8", mode-'r')
    outputfile = open(outputfilename, encoding='UTF-8' mode='w')
    temp = ""
    counts = {}
    for line in inputfile.readlines():
        line_seg = seg_word(linetemp,counts)
    line_seg = sorted(line_seg.items(),key=lambda x:x[1], reverse=True)
    for i j in line_seg:
        outputfile.write(i + ' '+ str(j) +'\n')
    inputfile.close()
    outputfile.close()
    return outputfile
if __name__ == '__main__':
    inputfilename = 'l.txt'
    outputfilename ='2.txt'
    output(inputfilename, outputfilename)