Part2分词处理

【发现有人转载，决定把格式什么重新整理一遍，有时间做个进阶版文本挖掘，恩！原文地址：CSDN-R语言做文本挖掘 Part2分词处理】

在RStudio中安装完相关软件包之后，才能做相关分词处理，请参照Part1部分安装需要软件包。参考文档：玩玩文本挖掘，这篇文章讲用R做文本挖掘很详尽，并且有一些相关资料的下载，值得看看！

1.?????? RWordseg功能

说明文档可在http://download.csdn.net/detail/cl1143015961/8436741下载，这里只做简单介绍。

分词

 segmentCN(c("如果你因为错过太阳而流泪","你也会错过星星"))

[1] "如果""你"?? "因为" "错过太阳而"?

[8] "流泪"

[[2]]

也会星星"

可以看到分词的效果不是很理想，“错过”这是一个词却被分开了，说明词库中不存在这个词，所以，我们有时候需要向词库中添加我们需要的词语。

加词删词

insertWords("错过")
segmentCN(c("如果你因为错过太阳而流泪",217)">错过"
 
 
有些情况下，你不希望某个词被分出来，例如还是“错过”这个词，这里“错”和“过”语义上已经不应该是一个词语了，所以，可以从词典中删除这个词，再添加上你需要的词语，继续做分词，效果就好多了。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

segmentCN("这个错过去你可以犯，但是现在再犯就不应该了")??
 
  
 
 
segmentCN("这个错过去你可以犯，但是现在再犯就不应该了")
 
 ?[1] " 
 这个 
 " " 
 错过 
 去 
 "?? " 
 你 
 可以 
 犯 
 但是 
 " 
 
 
 
 
 
?[8] "现在再犯就不应该了"?
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

deleteWords("错过")??
 
   
insertWords("过去")??
 
   
segmentCN("这个错过去你可以犯，但是现在再犯就不应该了")??
 
  
 
 
deleteWords("错过")
insertWords("过去")
segmentCN("这个错过去你可以犯，但是现在再犯就不应该了")
 
 错 
 过去 
 "
 
 
安装卸载词典
 
 
在做分词处理时，可能会遇到一些比较精而专的文章，专业词汇在词库里面并没有，这时候就需要去找相关的词典，安装到R中。例如，在做新闻分析中，一些娱乐新闻里会有很多明星歌手的名字出现，这些名字在做分词时，不会被识别为一个个词。此时可能需要添加一个名字的词典，词典可以是自己建也可以从网上找。推荐从搜搜狗输入法的词库下载地址http://pinyin.sogou.com/dict/，可以选择需要的分类词典下载。
 
 
这里我用到的一个词典names的下载地址：http://pinyin.sogou.com/dict/cate/index/429。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

segmentCN("2015年的几部开年戏都出现了唐嫣的身影")??
 
  
 
 
segmentCN("2015年的几部开年戏都出现了唐嫣的身影")
 
 ?[1] "2015 
 年 
 的 
 "???? " 
 几部 
 "? ?" 
 开 
 " ?? 
 
 
 
 
 
?[6] "戏"???? "都出现唐"???
 
 
[11] "嫣的身影"?
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

installDict("D:RsourcesDictionariessingers.scel",?dictname?="names")??
 
  
 
 
installDict("D:RsourcesDictionariessingers.scel",dictname ="names")
 
 3732 words were loaded! ... New dictionary 'names' was installed! 
 
 
 
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

segmentCN("2015年的几部开年戏都出现了唐嫣的身影")??
 
  
 
 
segmentCN("2015年的几部开年戏都出现了唐嫣的身影")
 
 唐嫣"?
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

listDict()??
 
  
 
 
listDict()
 
 ? ?Name Type????????????????????????? Des 
 
 
 
 
 
1 names 明星官方推荐，词库来源于网友上传
 
 
??????????????????????????????????????????????????????Path
 
 
1 E:/programFiles/R/R-3.1.2/library/Rwordseg/dict/names.dic
 
 
在不需要自己添加的词典时，还可以删除。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

uninstallDict()??
 
  
 
 
uninstallDict()
 
 3732 words were removed! ... The dictionary 'names' wasuninstalled! 
 
 
 
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

listDict()??
 
  
 
 
listDict()
 
 [1] Name Type Des? Path 
 
 
 
 
 
<0 行>(或0-长度的row.names)
 
 
以上这些是基本的介绍，RWordseg还有更多的功能，请查看其中文文档。
 
 
?
 
 
2.?????? 对某品牌官微做分词
 
 
数据来源是某服装品牌的官方微博从2012年到2014年末的微博。数据的基本内容结构如下图示，看内容大概能猜出来是哪个品牌了吧。
 
 

 
 
 
 
首先安装跟服装相关的词典，同样是从搜狗输入法的词库中下载的两个服饰类的词典,下载地址http://pinyin.sogou.com/dict/cate/index/397，这个地址下的前两个词库。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

installDict("D:RsourcesDictionariesfushi.scel",dictname?=?"fushi")??
 
   
installDict("D:RsourcesDictionariesAli_fushi.scel",dictname?=?"alifushi")??
 
   
listDict()??
 
  
 
 
installDict("D:RsourcesDictionariesfushi.scel",dictname = "fushi")
installDict("D:RsourcesDictionariesAli_fushi.scel",dictname = "alifushi")
listDict()
 
 ? ?Name Type 
 
 
 
 
 
明星
 
 
2 pangu Text
 
 
3 fushi 服饰
 
 
4?? ali 服饰
 
 
下一步是将数据读入R中，可以看到一共有1640条微博数据，注意数据的编码格式，readLines默认读取格式是gbk格式的，读取格式不对时会乱码。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

hlzj?<-readLines("d:RRWorkspaceorgData.txt",encoding?="UTF-8")??
 
   
length(hlzj)??
 
  
 
 
hlzj <-readLines("d:RRWorkspaceorgData.txt",encoding ="UTF-8")
length(hlzj)
 
 [1] 1640 
 
 
 
 
 
接下来就是做分词了，要先去除数据中可能存在的数字和一些特殊符号，然后分词。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

hlzjTemp?<-?gsub("[0-9０１２３４５６７８９?<?>?~]","",hlzj)??
 
   
hlzjTemp?<-?segmentCN(hlzjTemp)??
 
   
hlzjTemp[1:2]??
 
  
 
 
hlzjTemp <- gsub("[0-9０１２３４５６７８９ < > ~]",hlzj)
hlzjTemp <- segmentCN(hlzjTemp)
hlzjTemp[1:2]
 
 ?[1] "新品推荐时尚迷彩面料设计?[7] "为"?????? "简约单西注入[13] "非同凡响野性"??? ?"魅力良好"?????
 
 
[19] "防水效果使得实用性更[25] "高极具春日吸睛[31] "亮点春季海澜之家男士休闲[37] "西服韩版西装外套"???? "HWXAJAA"
 
 
小编修身薄款连帽暖心防风保暖撞色线条年轻走亲访友出行选择活力过冬轻松冬季热卖正品羽绒服"???? "HWRAJGA"
 
 
可以看到微博内容都已经被做过分词处理了，这个过程很简单，但实际上可能需要多次查看分词处理结果，有些词库中不存在所以被截开了的词需要被添加进去，从而让分词效果达到最好。
 
 
?
 
 
3.?????? 去停词
 
 
分词已经有结果了，但是分词的结果中存在很多像，“吧”，“吗”，“的”，“呢”这些无实际含义的语气词，或者是“即使”，“但是”这样的转折词，或者是一些符号，这样的词就叫做停词。要做进一步的分析可能需要去掉这些停词。
 
 
先自己整理一个停词表，这个停词表是我自己找的，包含一些常见的停词，然后根据实际内容中出现的一些无实际分析意义的词语，就可以作为我们的停词表了，网上能找到别人已经整理好的停词表。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

stopwords<-?unlist(read.table("D:RRWorkspaceStopWords.txt",stringsAsFactors=F))??
 
   
stopwords[50:100]??
 
  
 
 
stopwords<- unlist(read.table("D:RRWorkspaceStopWords.txt",stringsAsFactors=F))
stopwords[50:100]
? ?? 
 ? 
 V150?????? V151?????? V152?????? V153?????? V154?????? V155?????? V156 
 
 
 
 
 
??? "哎哟唉俺俺们"? ?????"按按照吧????? V157?????? V158?????? V159?????? V160?????? V161?????? V162?????? V163
 
 
吧哒把罢了被本本着比????? V164?????? V165?????? V166?????? V167?????? V168?????? V169?????? V170
 
 
?? ?"比方比如鄙人彼彼此边别????? V171?????? V172?????? V173?????? V174?????? V175?????? V176?????? V177
 
 
别的别说并并且不比不成不单????? V178?????? V179?????? V180?????? V181?????? V182?????? V183?????? V184
 
 
不但不独不管不光不过不仅不拘????? V185?????? V186?????? V187?????? V188?????? V189?????? V190?????? V191
 
 
不论不怕不然不如" ????"不特不惟不问????? V192?????? V193?????? V194?????? V195?????? V196?????? V197?????? V198
 
 
不只朝朝着趁趁着乘冲????? V199????? V1100 
 
 
????? "除除此之外"
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

removeStopWords?<-?function(x,stopwords)?{??
 
   
temp?<-?character(0)??
 
   
index?<-?1??
 
   
xLen?<-?length(x)??
 
   
while?(index?<=?xLen)?{??
 
   
if?(length(stopwords[stopwords==x[index]])?<1)??
 
   
temp<-?c(temp,x[index])??
 
   
index?<-?index?+1??
 
   
}??
 
   
temp??
 
   
}??
 
  
 
 
removeStopWords <- function(x,stopwords) {
temp <- character(0)
index <- 1
xLen <- length(x)
while (index <= xLen) {
if (length(stopwords[stopwords==x[index]]) <1)
temp<- c(temp,x[index])
index <- index +1
}
temp
}
 
 
 
 
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

hlzjTemp2?<-lapply(hlzjTemp,removeStopWords,stopwords)??
 
   
hlzjTemp2[1:2]??
 
  
 
 
hlzjTemp2 <-lapply(hlzjTemp,stopwords)
hlzjTemp2[1:2]
 
 "? ???""???? "HWRAJGA"
 
 
跟hlzjTemp[1:2]的内容比较可以明显发现“的”这样的字都被去掉了。
 
 
?
 
 
4.?????? 词云
 
 
词云是现在很常见的一种分析图，把这些词语放在一张图中，频次来显示词语的大小，这样就能很直观看出那些词语出现得比较多，在舆情分析中经常被用到。
 
 
下面的过程是将分词结果做一个统计，计算出每个词出现的次数并排序，然后取排名在前150的150个词语，用wordcloud()方法来画词云。
 
 
 
 
 
  
 
   
 
    [plain] 
     view plain 
      copy 
      print 
    ? 
    
 
    
 
   
 
  
 
  

words?<-?lapply(hlzjTemp2,strsplit,"?")??
 
   
wordsNum?<-?table(unlist(words))??
 
   
wordsNum?<-?sort(wordsNum)?#排序??
 
   
wordsData?<-?data.frame(words?=names(wordsNum),?freq?=?wordsNum)??
 
   
library(wordcloud)?#加载画词云的包??
 
   
weibo.top150?<-?tail(wordsData,150)?#取前150个词??
 
   
colors=brewer.pal(8,"Dark2")??
 
   
wordcloud(weibo.top150$words,weibo.top150$freq,scale=c(8,0.5),colors=colors,random.order=F)??
 
  
 
 
words <- lapply(hlzjTemp2," ")
wordsNum <- table(unlist(words))
wordsNum <- sort(wordsNum) #排序
wordsData <- data.frame(words =names(wordsNum),freq = wordsNum)
library(wordcloud) #加载画词云的包
weibo.top150 <- tail(wordsData,150) #取前150个词
colors=brewer.pal(8,"Dark2")
wordcloud(weibo.top150$words,random.order=F)
 
 
 
 
 
 
该品牌微博的内容有很明显的特征，品牌名“海澜之家”出现的次数远大于其他词语；其次出现频度比较高的词语是“链接”，“旗舰店”，“时尚”，“新品”，“修身”，“男装”，可以大概看出这个该品牌专注于男装，该微博账号经常做新品推荐，可能会提供服装链接到它的旗舰店；另外还能看到“全能星战”，“奔跑吧兄弟”这样的电视节目，稍微了解一下就知道，这是海澜之家这两年赞助的两个节目，所以在它的微博中出现多次是很正常的。
 
 
原始数据就不共享了，大家可以另外找数据尝试。
 
 
有任何问题欢迎指正，转载请注明来源，谢谢！