在与给定关键字具有最高相似性的文本中查找子字符串
发布时间：2020-12-14 04:16:50 所属栏目：大数据 来源：网络整理
导读：说我有这个文本=我喜欢苹果,猕猴桃,橘子和香蕉,searchString =猕猴桃和香蕉,a similarity algorithm说 Jaccard index.如何有效地找到与searchString最相似的文本中的子字符串. 基本上,我试图找到与我拥有的关键字列表匹配的文本部分(文本有很高的错误,拼写错
|
说我有这个文本=我喜欢苹果,猕猴桃,橘子和香蕉,searchString =猕猴桃和香蕉,a similarity algorithm说
Jaccard index.如何有效地找到与searchString最相似的文本中的子字符串.
基本上,我试图找到与我拥有的关键字列表匹配的文本部分(文本有很高的错误,拼写错误,额外的符号和空格). 解决方法
Jaccard索引是“幸运”相似度算法,因为您可以更新其新符号的值而不重新计算所有以前的内容.因此,您可以将文本视为生成索引值的差异序列.之后,问题可以降到
https://en.wikipedia.org/wiki/Maximum_subarray_problem.
你的第二段怎么样,如果你正在进行一些类似NLP的研究,我建议清理你的数据(删除那些额外的符号和空格,只要有可能)进一步处理之前.这就是所谓的“拼写校正”,并且有大量不同的算法和库.要选择适当的一个,需要有关您的域的额外信息. （编辑：李大同） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |