文本挖掘稀疏/非稀疏意义

frequencies = DocumentTermMatrix(corpus)

文档术语矩阵(DTM)按文档列出语料库中所有出现的单词.在DTM中,文档由行表示,术语(或单词)由列表示.如果在特定文档中出现单词,则对应于该行和列的矩阵条目为1,否则为0(记录文档中的多次出现 – 即,如果文档中出现两次单词,则为在相关矩阵条目中记录为“2”.

作为一个例子,考虑具有两个文档的语料库.

Doc1：香蕉很好吃

Doc2：香蕉是黄色的

上述语料库的DTM看起来像

banana          are        yellow       good
Doc1            1               1          1            0

Doc2            1               1          0            1

输出

<<DocumentTermMatrix (documents: 299,terms: 1297)>>
Non-/sparse entries: 6242/381561
Sparsity           : 98%
Maximal term length: 19
Weighting          : term frequency (tf)

输出表示DTM有299个条目,其中超过1297个条款至少出现过一次.

sparse = removeSparseTerms(frequencies,0.97)

现在,您要删除数据中不常出现的那些术语.我们将删除任何未出现在至少3％的条目(或文档)中的元素.关于上面创建的DTM,我们基本上删除那些条目为1个最少文档数的列.

现在,如果你看看输出

> sparse
<<DocumentTermMatrix (documents: 299,terms: 166)>>
Non-/sparse entries: 3773/45861
Sparsity           : 92%
Maximal term length: 10
Weighting          : term frequency (tf)

条目(文件)的数量仍然相同,即299,但至少出现一次的术语数量已变为166.