加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 综合聚焦 > 服务器 > 安全 > 正文

scala – 值toDF不是成员org.apache.spark.rdd.RDD

发布时间:2020-12-16 19:23:36 所属栏目:安全 来源:网络整理
导读:def main(args: Array[String]) { val conf = new SparkConf().setMaster("local").setAppName("test") val sc = new SparkContext(conf) //require spark sql environment val sqlContext = new org.apache.spark.sql.SQLContext(sc) import sqlContext.imp
def main(args: Array[String]) {
    val conf = new SparkConf().setMaster("local").setAppName("test")
    val sc = new SparkContext(conf)
    //require spark sql environment
    val sqlContext = new org.apache.spark.sql.SQLContext(sc)
    import sqlContext.implicits._
    val df1 = sc.makeRDD(1 to 5).map(i => (i,i * 2)).toDF("single","double")
    sc.stop()
  }

我写过“import sqlContext.implicits._”;
但它仍然无效.它恰好在火花壳中.
为什么在这种情况下不对?
我已经看到很多其他方法将rdd转换为数据框,
但我的大部分代码都写成了DF().
如何使toDF工作?
错误:

Error:(25,55) value toDF is not a member of org.apache.spark.rdd.RDD[(Int,Int)]
val df1 = sc.makeRDD(1 to 5).map(i => (i,"double")
                                                  ^

解决方法

在Spark 1.3版中添加了toDF(),您必须使用较旧版本(小于1.3)的Spark,这就是您收到此错误的原因.要解决此问题,请使用Spark 1.3或更高版本.

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读