如何编写一个python程序,返回文本中至少出现5次的所有单词？

发布时间：2020-12-20 11:24:38 所属栏目：Python 来源：网络整理

导读：我只需要做这篇文章的标题所说的：编写一个 python程序,它返回在文本中至少出现5次的所有单词.我意识到这是一个非常简单的问题.我是一个新手程序员,试图获得一些NLP技能,由于某种原因,我无法弄清楚这一点.非常感谢您的帮助！谢谢！解决方法你应该用“word

我只需要做这篇文章的标题所说的：编写一个 python程序,它返回在文本中至少出现5次的所有单词.我意识到这是一个非常简单的问题.我是一个新手程序员,试图获得一些NLP技能,由于某种原因,我无法弄清楚这一点.非常感谢您的帮助！

谢谢！

解决方法

你应该用“word”来定义你的意思.不同的定义会产生不同的结果.一般模板是：

from collections import Counter

count = Counter(getwords(normalize(text)))
words = [w for w,c in count.items() if c >= 5]

你可以使用各种getwords()定义,normalize()例如：

import re

def normalize(text): # remove non-ascii,convert to lowercase
    return text.encode('ascii','ignore').lower().decode()

def getwords(text): # allow only a-z
    return re.findall(ur"[a-z]+",text)

或者基于nltk的标记生成器：

from nltk.tokenize import sent_tokenize,word_tokenize

def getwords(text):
    return (w for sent in sent_tokenizer(text) for w in word_tokenize(sent))

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!