本文由 中国统计网（公众号：cntongji）授权 ?大数据 ?发布，作者：刘顺祥。转载请联系首发公众号授权，谢绝二次转载。
文本挖掘指的是从文本数据中获取有价值的信息和知识，它是数据挖掘中的一种方法。文本挖掘中最重要最基本的应用是实现文本的分类和聚类，前者是有监督的挖掘算法，后者是无监督的挖掘算法。
1) 读取数据库或本地外部文本文件
2) 文本分词
????2.1) 自定义字典
????2.2) 自定义停止词
????2.3) 分词
????2.4) 文字云检索哪些词切的不准确、哪些词没有意义，需要循环2.1、2.2和 2.3步骤
3) 构建文档-词条矩阵并转换为数据框
4) 对数据框建立统计、挖掘模型
5) 结果反馈
本次文本挖掘将使用R语言实现，除此还需加载几个R包，它们是tm包、tmcn包、Rwordseg包和wordcloud包。
本文所用数据集来自于sougou实验室数据，具体可至链接下载：
http://download.labs.sogou.com/dl/sogoulabdown/SogouC.mini.20061102.tar.gz
本文对该数据集做了整合，将各个主题下的新闻汇总到一张csv表格中，数据格式如下图所示：
具体数据可至文章后面的链接下载。
接下来需要对新闻内容进行分词，在分词之前需要导入一些自定义字典，目的是提高切词的准确性。由于文本中涉及到军事、医疗、财经、体育等方面的内容，故需要将搜狗字典插入到本次分析的字典集中。
如果需要卸载某些已导入字典的话，可以使用uninstallDict()函数。
分词前将中文中的英文字母统统去掉。
图中圈出来的词对后续的分析并没有什么实际意义，故需要将其剔除，即删除停止词。
停止词创建好后，该如何删除76条新闻中实际意义的词呢?下面通过自定义删除停止词的函数加以实现。
相比与之前的分词结果，这里瘦身了很多，剔除了诸如“是”、“的”、“到”、“这”等无意义的次。
判别分词结果的好坏，最快捷的方法是绘制文字云，可以清晰的查看哪些词不该出现或哪些词分割的不准确。
仍然存在一些无意义的词(如说、日、个、去等)和分割不准确的词语(如黄金周切割为黄金，医药切割为药等)，这里限于篇幅的原因，就不进行再次添加自定义词汇和停止词。
此时语料库中存放了76条新闻的分词结果。
从图中可知，文档-词条矩阵包含了76行和7939列，行代表76条新闻，列代表7939个词;该矩阵实际上为稀疏矩阵，其中矩阵中非0元素有11655个，而0元素有591709，稀疏率达到98%;最后，这7939个词中，最频繁的一个词出现在了49条新闻中。
由于稀疏矩阵的稀疏率过高，这里将剔除一些出现频次极地的词语。
这样一来，矩阵中列大幅减少，当前矩阵只包含了116列，即116个词语。
为了便于进一步的统计建模，需要将矩阵转换为数据框格式。
所以在实际的文本挖掘过程中，最为困难和耗费时间的就是分词部分，既要准确分词，又要剔除无意义的词语，这对文本挖掘者是一种挑战。
文中数据和脚本可至如下链接下载：
http://yunpan.cn/cupyBj9xTkHe7 访问密码 a88b
相关文章阅读（直接点击查看）：
写给新人数据挖掘基础知识介绍
什么是数据挖掘
当我们说数据挖掘的时候我们在说什么
手把手：R语言文本挖掘和词云可视化实践
太阳底下无隐私：那些年我们做的微博数据挖掘
近期精彩活动（直接点击查看）：
福利 · 阅读 | 免费申请读大数据新书 第17期
投稿和反馈请发邮件至holly0801@163.com。转载大数据公众号文章，请向原文作者申请授权，否则产生的任何版权纠纷与大数据无关。
161224?2016年“大数据”产业的“真实面目”?
161222?傅盛：深度学习是一种新的思维方式?
161216?CCF：2017年大数据发展趋势报告及解读
161213?一文看懂人工智能：原理，技术和未来
161208?如何七周成为数据分析师
161206?一篇文看懂Hadoop：风雨十年，未来何去何从
161205?2017年大数据的十大发展趋势
161129?大数据等最核心的关键技术：32个算法
161126?2016十大热门大数据岗位，拿走不谢
161122?2017年关于数据科学六大预言
161119?漫画：什么是机器学习？?
161114?终年32岁的传奇数学家，生前寂寂无闻，一个世纪后却让硅谷领袖们集体落泪致敬
161112?如何用大数据思维找女朋友？
161108?漫画：什么是大数据
161107?数据可视化的七大秘密
161105?Gartner公布2017年十大战略科技发展趋势?
161028?经验贴│怎样进行大数据入门级学习
161025?干货：数据分析师的能力和工具体系
161023?不装逼地说,在Google十年,到底学到啥??
161016?大数据投资人必读：中国大数据发展与投资分析报告
161014?您的位置信息如何被利用?——基于位置信息的应用和地理信息匹配算法
161009?硅谷教父凯文·凯利最新预言：未来20年最重要的2个科技趋势！?
161001?十张图看懂未来的大数据世界
更多精彩文章，请在公众号后台回复000查看，谢谢。
