比较想法相似性的算法(作为字符串)

发布时间：2020-12-14 04:35:25 所属栏目：大数据来源：网络整理

导读：考虑一个记录问题答案的任意文本框,在你死之前你想做什么？使用一组响应字符串(最大长度为240),我想以某种方式对它们进行排序和分组并按想法计算它们(这可能只是字符串相似性,如this question中所述). 有没有其他或更好的方法来做这样的事情？这与字符串相

考虑一个记录问题答案的任意文本框,在你死之前你想做什么？

使用一组响应字符串(最大长度为240),我想以某种方式对它们进行排序和分组并按想法计算它们(这可能只是字符串相似性,如this question中所述).

>有没有其他或更好的方法来做这样的事情？
>这与字符串相似性有何不同？
>这是正确的问题吗？

这里的想法是让人们一遍又一遍地在文本框中书写,我提供一个数字,一般来说,描述了802人写的大致相同的东西

它比字符串相似性困难得多.这是您至少需要做的事情：

>执行一些文本格式化/清除任务,例如删除标点符号和常用的“停用词”
>根据出现答案的术语构建语料库(带有使用统计信息的单词集合).
>计算每个学期的体重.
>从每个答案构造一个文档向量(每个术语对应一个非常高维的欧几里德空间中的维度)
>对文档向量运行聚类算法.

阅读一本好的统计自然语言处理书,或搜索谷歌的好介绍/教程(可能的术语：统计nlp,文本分类,聚类)您可能会发现一些库(weka或nltk浮现在脑海中),具体取决于您选择的语言但是无论如何你需要理解使用库的概念.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!