python – 滥用nltk的word_tokenize(已发送)的后果
发布时间:2020-12-16 22:54:47 所属栏目:Python 来源:网络整理
导读:我试图将一个段落分成单词.我手头有可爱的nltk.tokenize.word_tokenize(发送),但是帮助(word_tokenize)说,“这个标记器设计用于一次一个句子.” 有没有人知道如果你在一个段落上使用它会发生什么,即最多5个句子呢?我自己尝试了一些简短的段落,似乎有效,但这
我试图将一个段落分成单词.我手头有可爱的nltk.tokenize.word_tokenize(发送),但是帮助(word_tokenize)说,“这个标记器设计用于一次一个句子.”
有没有人知道如果你在一个段落上使用它会发生什么,即最多5个句子呢?我自己尝试了一些简短的段落,似乎有效,但这几乎不是确凿的证据. 解决方法
nltk.tokenize.word_tokenize(text)只是一个瘦的
wrapper function,它调用
TreebankWordTokenizer类实例的tokenize方法,它显然使用简单的正则表达式来解析一个句子.
该类的文档声明:
底层 def tokenize(self,text): for regexp in self.CONTRACTIONS2: text = regexp.sub(r'1 2',text) for regexp in self.CONTRACTIONS3: text = regexp.sub(r'1 2 3',text) # Separate most punctuation text = re.sub(r"([^w.'-/,&])",r' 1 ',text) # Separate commas if they're followed by space. # (E.g.,don't separate 2,500) text = re.sub(r"(,s)",r' 1',text) # Separate single quotes if they're followed by a space. text = re.sub(r"('s)",text) # Separate periods that come before newline or end of string. text = re.sub('. *(n|$)',' . ',text) return text.split() 基本上,该方法通常做的是将句点标记为单独的标记,如果它落在字符串的末尾: >>> nltk.tokenize.word_tokenize("Hello,world.") ['Hello',','world','.'] 落在字符串中的任何句点都被标记为单词的一部分,假设它是缩写: >>> nltk.tokenize.word_tokenize("Hello,world. How are you?") ['Hello','world.','How','are','you','?'] 只要这种行为是可以接受的,你应该没事. (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |