scala – 如何在Apache Spark中编码分类功能

user1,class1,product1
user1,product2
user1,product5
user2,product2
user2,product5
user3,class2,product1

大约有1M个用户,2个类和1M个产品.我接下来要做的是创建稀疏向量(MLlib已经支持的东西)但为了应用该函数,我必须首先创建密集向量(使用0).换句话说,我必须将数据二进制化.这样做最简单(或最优雅)的方式是什么？

鉴于我是MLlib的新手,请问您提供一个具体的例子？我正在使用MLlib 1.2.

编辑

我最终得到了以下一段代码,但事实证明是非常慢……除了提供我只能使用MLlib 1.2之外的任何其他想法？

val data = test11.map(x=> ((x(0),x(1)),x(2))).groupByKey().map(x=> (x._1,x._2.toArray)).map{x=>
  var lt : Array[Double] = new Array[Double](test12.size)
  val id = x._1._1
  val cl = x._1._2
  val dt = x._2
  var i = -1
  test12.foreach{y => i += 1; lt(i) = if(dt contains y) 1.0 else 0.0}
  val vs = Vectors.dense(lt)
  (id,cl,vs)
}