Ruby文本分析
发布时间：2020-12-16 19:38:30 所属栏目：百科 来源：网络整理
导读：有没有 Ruby宝石或其他文本分析？词频,模式检测等(最好用法语理解) 解决方法 词频的泛化是语言模型,例如单数(=单字频率),双克(=单词对的频率),三克(=世界三倍的频率),…,一般来说：n克 您应该寻找一个现有的语言模型工具包 – 不是在这里重新发明轮子的好主
|
有没有
Ruby宝石或其他文本分析？词频,模式检测等(最好用法语理解)
解决方法
词频的泛化是语言模型,例如单数(=单字频率),双克(=单词对的频率),三克(=世界三倍的频率),…,一般来说：n克
您应该寻找一个现有的语言模型工具包 – 不是在这里重新发明轮子的好主意. 有几个标准工具包可用,例如从CMU狮身人面像团队,还有HTK. 这些工具包通常以C(为了速度!!)编写,因为您必须处理巨大的语料库)并生成标准输出格式ARPA n-gram文件(通常是文本格式) 检查以下线程,其中包含更多的细节和链接： Building openears compatible language model 一旦您使用这些工具包生成了语言模型,您将需要一个Ruby Gem,使Ruby可以访问该语言模型,或者您需要将ARPA格式转换为您自己的格式. adi92的帖子列出了一些更多的Ruby NLP资源. 您还可以使用Google的“ARP??A语言模型”获取更多信息 最后检查Google的N-gram工具在线：http://ngrams.googlelabs.com/很快移动到：http://books.google.com/ngrams 他们根据他们数字化的书籍制作了n克 – 也可以用法语和其他语言！ （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |