文本挖掘的大致理解

文本挖掘的基本过程：

1.文本分析

主要就是对文本进行分词处理（去标点，去停用词，词干处理），找出有含义的最小单位--词。

实例：?

提高全体居民的生产生活水平

（1）提高 高全 全体体居 居民 名的 的生 生产 产生 生活 活水 水平

（2）提高 全体居民 的 生产 生活 水平

（3）提高 全体 居民 的 生产 生活 水平

......

哪种是最好的分割呢？不同的方法会产生不同的结果。

基本方法:最大匹配法、最大概率法分词、最短路径分词方法、隐马尔可夫模型方法

2.文档模型及特征提取

文档模型其实就是选择一种计算框架，有三种常用模型：布尔模型、向量空间模型、概率模型。

怎样表示一篇文档，涉及到特征提取：特征词及其权重、关键词摘要、特定信息抽取。

tf：term frequency?词频

idf:inverse document frequency 逆文档频率

3.挖掘

文档特征化后，基于不同的目的，考虑在计算机的世界里完成以下任务：

检索、 分类、 过滤、聚类、 TDT

当然，有时候维度过大，需要考虑降维或者维度重构，所有这些基于数理统计中的矩阵分解（PCA ICA）。

4.结果评价