scala – 在spark over JDBC上从远程配置单元读取数据返回空结果

发布时间：2020-12-16 18:29:09 所属栏目：安全来源：网络整理

导读：我需要从spark执行远程hive服务器上的hive查询,但由于某些原因,我只收到列名(没有数据). 表中的数据,我通过HUE和 java jdbc连接检查它. 这是我的代码示例： val test = spark.read .option("url","jdbc:hive2://remote.hive.server:10000/work_base") .optio

我需要从spark执行远程hive服务器上的hive查询,但由于某些原因,我只收到列名(没有数据).
表中的数据,我通过HUE和 java jdbc连接检查它.

这是我的代码示例：

val test = spark.read
    .option("url","jdbc:hive2://remote.hive.server:10000/work_base")
    .option("user","user")
    .option("password","password")
    .option("dbtable","some_table_with_data")
    .option("driver","org.apache.hive.jdbc.HiveDriver")
    .format("jdbc")
    .load()
test.show()

输出：

+-------+
|dst.col|
+-------+
+-------+

我知道这个数据可以在这张桌子上使用.

Scala版本：2.11
Spark版本：2.1.0,我也试过2.1.1
Hive版本：CDH 5.7 Hive 1.1.1,在HDP上我有相同的故事
Hive JDBC版本：1.1.1我也试过以后的版本

但是这个问题在Hive和更高版本上也可用.
你能帮我解决这个问题吗,因为我在邮件组答案和StackOverflow中找不到任何东西.
也许你知道如何从spark到远程服务器执行hive查询？

解决方法

您应该将其添加到您的选项中：

.option("fetchsize","10")

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!