Sqoop oracle导到hive 由于存在空字符导致字段错位和丢失错误

发布时间：2020-12-12 14:09:43 所属栏目：百科来源：网络整理

导读：感谢分享：http://blog.csdn.net/chaiyiping/article/details/40622507 Sqoop从oracle导入数据到hive，示例： [plain] view plain copy sqoopimport--connectjdbc:oracle:thin:@oracle-host:port:orcl--usernamename--passwordpasswd--hive-import-tabletabl

感谢分享：http://blog.csdn.net/chaiyiping/article/details/40622507

Sqoop从oracle导入数据到hive，示例：

[plain] view plain copy

sqoopimport--connectjdbc:oracle:thin:@oracle-host:port:orcl--usernamename--passwordpasswd--hive-import-tabletablename

如果不加其他参数，导入的数据默认的列分隔符是'01'，默认的行分隔符是'n'。

这样问题就来了，如果导入的数据中有'n'，hive会认为一行已经结束，后面的数据被分割成下一行。这种情况下，导入之后hive中数据的行数就比原先数据库中的多，而且会出现数据不一致的情况。

Sqoop也指定了参数--fields-terminated-by和--lines-terminated-by来自定义行分隔符和列分隔符。

可是当你真的这么做时.........o(╯□╰)o就会出现如下错误：

copy

INFOhive.HiveImport:FAILED:SemanticException1:381LINESTERMINATEDBYonlysupportsnewline'n'rightnow.

也就是说虽然你通过 --lines-terminated-by 指定了其他的字符作为行分隔符，但是hive只支持'n'作为行分隔符。

简单的解决办法就是加上参数--hive-drop-import-delims来把导入数据中包含的hive默认的分隔符去掉。

（编辑：李大同）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!