scala – 值toDF不是成员org.apache.spark.rdd.RDD
发布时间:2020-12-16 19:23:36 所属栏目:安全 来源:网络整理
导读:def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("test") val sc = new SparkContext(conf) //require spark sql environment val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.imp
def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("test") val sc = new SparkContext(conf) //require spark sql environment val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.implicits._ val df1 = sc.makeRDD(1 to 5).map(i => (i,i * 2)).toDF("single","double") sc.stop() } 我写过“import sqlContext.implicits._”; Error:(25,55) value toDF is not a member of org.apache.spark.rdd.RDD[(Int,Int)] val df1 = sc.makeRDD(1 to 5).map(i => (i,"double") ^ 解决方法
在Spark 1.3版中添加了toDF(),您必须使用较旧版本(小于1.3)的Spark,这就是您收到此错误的原因.要解决此问题,请使用Spark 1.3或更高版本.
(编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |