mahout的数据处理--【根据文本文件创建vector】

mahout有根据目录下文本转换为Vectors的工具。

在创建vector前需要将文档转换为SequenceFile格式【hadoop存储文件的格式】。

SequenceFile是key--value形式的存储。

DocumentVectorizer 需要以unique类型为key，UTF-8格式的文本内容为value的数据格式。

您可能会发现有助于提卡（http://lucene.apache.org/tika）转换成二进制文件以文本。

mahout有一个漂亮的工具，它读取目录以及它的子目录以分块的方式为我们创建SequenceFile格式的数据。生成的文档的ID是<PREFIX><RELATIVE PATH FROM PARENT>/document.txt的形式。

运行的命令如下

$MAHOUT_HOME/bin/mahout seqdirectory 
--input <PARENT DIR WHERE DOCS ARE LOCATED> --output <OUTPUT DIRECTORY> 
<-c <CHARSET NAME OF THE INPUT DOCUMENTS> {UTF-8|cp1252|ascii...}> 
<-chunk <MAX SIZE OF EACH CHUNK in Megabytes> 64> 
<-prefix <PREFIX TO ADD TO THE DOCUMENT ID>>

$MAHOUT_HOME/bin/mahout seq2sparse 
-i <PATH TO THE SEQUENCEFILES> -o <OUTPUT DIRECTORY WHERE VECTORS AND DICTIONARY IS GENERATED> 
<-wt <WEIGHTING METHOD USED> {tf|tfidf}> 
<-chunk <MAX SIZE OF DICTIONARY CHUNK IN MB TO KEEP IN MEMORY> 100> 
<-a <NAME OF THE LUCENE ANALYZER TO TOKENIZE THE DOCUMENT> org.apache.lucene.analysis.standard.StandardAnalyzer> 
<--minSupport <MINIMUM SUPPORT> 2> 
<--minDF <MINIMUM DOCUMENT FREQUENCY> 1> 
<--maxDFPercent <MAX PERCENTAGE OF DOCS FOR DF. VALUE BETWEEN 0-100> 99> 
<--norm <REFER TO L_2 NORM ABOVE>{INF|integer >= 0}>"
<-seq <Create SequentialAccessVectors>{false|true required for running some algorithms(LDA,Lanczos)}>"