文本词频统计

词频统计

在很多情况下我们会遇到这样的问题·，给你一篇文章，让你统计其中多次出现的词语。这就是词频统计问题。当然不我们的文本可以是英文、可以是中文、也可以是其他国家的文字。首先我们来分析这个问题的IPO：
I(输入)：从文件读取一段文本，或者从键盘输入文本，通常情况下是从文件中读取
P(处理过程)：把每个词语及其出现次数当作一个键值对进行处理
O(输出)：输出每个词及其出场频率。

英文文章的词频统计

首先我们来看文本为英文的情况：
统计一段英文文本中，单词出现次数，并输出出场次数前三的单词。
I(输入)：从文件中读取一篇文章，考虑到有的单词出现在句首需为大写，事实上大写和小写应为一个单词，但是统计的时候会把大写和小写分开，因此把所有大写转化为小写。然后一段文本里面会出现各种各样的符号，这些符号会影响单词频率的排名，因此要把这些符号去掉，这里可以采用字符串的replace方法把其他符号替换为空格符。然后就是我们的单词每出现一次次数就要加1。清楚了这些以后我们整体的编程思路就有了：下面就是我们的代码展示环节

#读取文件
test=open("D:\pythonDemo\EnglishDemo.txt",'r')
#将文件内容全部变为小写存储在test中
test=(test.read()).lower()
#利用循环将其他字符替换为空格
for str in'.,%()-"—':
    test=test.replace(str," ")
#将单词以空格分隔开形成列表
words=test.split