加入收藏 | 设为首页 | 会员中心 | 我要投稿 李大同 (https://www.lidatong.com.cn/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 站长学院 > MsSql教程 > 正文

Sqoop将SQLServer数据导入HBase

发布时间:2020-12-12 13:08:57 所属栏目:MsSql教程 来源:网络整理
导读:首先在Cloudera Manager中添加Sqoop服务,然后进行如下操作: jdbc的server驱动和SQLServer-hadoop connector包下载位置:http://download.csdn.net/detail/nma_123456/9405343 1、?Sqoop安装包中并不包含jdbc的SqlServer驱动,所以想在HDFS和SqlServer数据

首先在Cloudera Manager中添加Sqoop服务,然后进行如下操作:

jdbc的server驱动和SQLServer-hadoop connector包下载位置:http://download.csdn.net/detail/nma_123456/9405343

1、?Sqoop安装包中并不包含jdbc的SqlServer驱动,所以想在HDFS和SqlServer数据库之间导入导出数据,则需要先下载jdbc的SqlServer驱动。到http://www.microsoft.com/download/en/details.aspx?displaylang=en&id=21599?上 下载jdbc驱动1033sqljdbc_3.0.1301.101_enu.tar.gz,解压,把sqljdbc4.jar包拷贝到Sqoop安装 目录下的lib目录下

2、? 但是这个只是jdbc中SqlServer的驱动,它并不支持HDFS与SqlServer数据库之间数据的传输,还需要下载 SQL Server-Hadoop Connector。下载地址为http://www.microsoft.com/download/en/details.aspx?id=27584?, 解压得到sqoop-sqlserver-1.0目录,并在系统中添加环境变量MSSQL_CONNECTOR_HOME,让它指向sqoop-sqlserver-1.0目录

3、? 然后执行sqoop-sqlserver-1.0目录下的install.sh。这个命令会将连接的jar文件和配置文 件拷贝的Sqoop目录中

4、导入到HBase?

sqoop import? --connect 'jdbc:sqlserver://192.168.1.51;username=sa;password=123asd!@#;database=FJData' --table dataanalyse --hbase-table dataanalyse --column-family content --hbase-row-key ID
遇到的问题:

1、?Java Runtime Environment (JRE) version 1.7 is notsupported by this driver

在sqoop/lib下只需要将sqljdbc4.jar拷贝到文件夹下即可。

2、set $Accumulo_HOME to the root of your accumulo installation

注释掉:

sqoop/bin/configure-sqoop里面的Accumulo_HOME部分。

(编辑:李大同)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!

    推荐文章
      热点阅读