scala – 从一个hive表中读取并使用spark sql写回来
发布时间:2020-12-16 18:58:10 所属栏目:安全 来源:网络整理
导读:我正在使用Spark SQL读取Hive表并将其分配给 scala val val x = sqlContext.sql("select * from some_table") 然后我正在使用数据帧x进行一些处理,最后得到一个数据帧y,它具有与表some_table一样的精确模式. 最后,我试图将y数据帧覆盖到同一个hive表some_tab
我正在使用Spark SQL读取Hive表并将其分配给
scala val
val x = sqlContext.sql("select * from some_table") 然后我正在使用数据帧x进行一些处理,最后得到一个数据帧y,它具有与表some_table一样的精确模式. 最后,我试图将y数据帧覆盖到同一个hive表some_table y.write.mode(SaveMode.Overwrite).saveAsTable().insertInto("some_table") 然后我收到错误
我尝试创建一个insert sql语句并使用sqlContext.sql()触发它,但它也给了我同样的错误. 有什么办法可以绕过这个错误吗?我需要将记录插回到同一个表中. 嗨,我尝试按照建议做,但仍然得到相同的错误. val x = sqlContext.sql("select * from incremental.test2") val y = x.limit(5) y.registerTempTable("temp_table") val dy = sqlContext.table("temp_table") dy.write.mode("overwrite").insertInto("incremental.test2") scala> dy.write.mode("overwrite").insertInto("incremental.test2") org.apache.spark.sql.AnalysisException: Cannot insert overwrite into table that is also being read from.; 解决方法
您应该首先将DataFrame y保存在临时表中
y.write.mode("overwrite").saveAsTable("temp_table") 然后,您可以覆盖目标表中的行 val dy = sqlContext.table("temp_table") dy.write.mode("overwrite").insertInto("some_table") (编辑:李大同) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |