python实现统计汉字/英文单词数的正则表达式
发布时间:2020-12-16 20:15:31 所属栏目:Python 来源:网络整理
导读:思路 使用正则式 "(?x) (?: [w-]+ | [x80-xff]{3} )"获得utf-8文档中的英文单词和汉字的列表。 使用dictionary来记录每个单词/汉字出现的频率,如果出现过则+1,如果没出现则置1。 将dictionary按照value排序,输出。 源码 复制代码 代码如下: #!/usr/bi
思路 •使用正则式 "(?x) (?: [w-]+ | [x80-xff]{3} )"获得utf-8文档中的英文单词和汉字的列表。 •使用dictionary来记录每个单词/汉字出现的频率,如果出现过则+1,如果没出现则置1。 •将dictionary按照value排序,输出。 源码 复制代码 代码如下: #!/usr/bin/python # -*- coding: utf-8 -*- # #author: rex #blog: http://iregex.org #filename counter.py #created: Mon Sep 20 21:00:52 2010 #desc: convert .py file to html with VIM. import sys import re from operator import itemgetter def readfile(f): with file(f,"r") as pFile: return pFile.read() def divide(c,regex): #the regex below is only valid for utf8 coding return regex.findall(c) def update_dict(di,li): for i in li: if di.has_key(i): di[i]+=1 else: di[i]=1 return di def main(): #receive files from bash files=sys.argv[1:] #regex compile only once regex=re.compile("(?x) (?: [w-]+ | [x80-xff]{3} )") dict={} #get all words from files for f in files: words=divide(readfile(f),regex) dict=update_dict(dict,words) #sort dictionary by value #dict is now a list. dict=sorted(dict.items(),key=itemgetter(1),reverse=True) #output to standard-output for i in dict: print i[0],i[1] if __name__=='__main__': main() Tips 由于使用了files=sys.argv[1:] 来接收参数,因此./counter.py file1 file2 ...可以将参数指定的文件的词频累加计算输出。 可以自定义该程序。例如, •使用 复制代码 代码如下: regex=re.compile("(?x) ( [w-]+ | [x80-xff]{3} )") words=[w for w in regex.split(line) if w] 这样得到的列表是包含分隔符在内的单词列表,方便于以后对全文分词再做操作。 •以行为单位处理文件,而不是将整个文件读入内存,在处理大文件时可以节约内存。 •可以使用这样的正则表达式先对整个文件预处理一下,去掉可能的html tags: content=re.sub(r"<[^>]+","",content),这样的结果对于某些文档更精确。 (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |