如何使用Scala更新一个ORC Hive表格

发布时间：2020-12-16 08:44:56 所属栏目：安全来源：网络整理

导读：我想更新一个orc格式的hive表,我可以从我的ambari hive视图更新,但无法从sacla(spark- shell)运行相同的更新语句 objHiveContext.sql(“select * from table_name”)能够查看数据,但是当我运行时 objHiveContext.sql(“update table_name set column_name =

我想更新一个orc格式的hive表,我可以从我的ambari hive视图更新,但无法从sacla(spark- shell)运行相同的更新语句

objHiveContext.sql(“select * from table_name”)能够查看数据,但是当我运行时

objHiveContext.sql(“update table_name set column_name =’testing’”)无法运行,一些Noviable异常(更新后的语法无效等)正在发生,因为我可以从Ambari视图更新(因为我设置了所有必需的配置)即TBLPROPERTIES“orc.compress”=“无”交易真实等)

尝试插入到使用案例陈述和所有但不能
我们可以从spark中更新hive ORC表吗？
如果是,那么程序是什么？

进口如下

import org.apache.spark.SparkConf
import org.apache.spark.SparkConf
import org.apache.spark._
import org.apache.spark.sql._
import org.apache.spark.sql.hive.HiveContext
import org.apache.spark.sql.hive.orc._

注意：我没有在该表上应用任何分区或分区
如果我应用bucketing,我甚至无法在存储为ORC时查看数据
Hive版本：1.2.1
Spark版本：1.4.1
Scala版本：2.10.6

解决方法

您是否根据下面的链接使用SaveMode.Append尝试了DataFrame.write API？

http://spark.apache.org/docs/latest/sql-programming-guide.html#manually-specifying-options

使用“orc”作为格式并使用“append”作为保存模式.示例在上面的链接中.

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!