【问题标题】:Sqoop Export Hive String to Oracle CLOBSqoop 将 Hive 字符串导出到 Oracle CLOB
【发布时间】:2016-10-08 05:10:36
【问题描述】:

我想将 STRING 数据从 Hive 导出到 Oracle 中的 CLOB

命令:

sqoop export -Dsqoop.export.records.per.statement=1 --connect 'jdbc:oracle:thin:@192.168.41.67:1521:orcl' --username ILABUSER --password impetus --table ILABUSER.CDT_ORC_1 --export-dir /user/dev/db/123 --input-fields-terminated-by '\001' --input-null-string '\\N' --input-null-non-string '\\N' -m 2

例外:

错误:java.io.IOException:无法导出数据,请检查失败的地图任务日志 在 org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:112) 在 org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:39) 在 org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:146) 在 org.apache.sqoop.mapreduce.AutoProgressMapper.run(AutoProgressMapper.java:64) 在 org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:787) 在 org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) 在 org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) 在 java.security.AccessController.doPrivileged(本机方法) 在 javax.security.auth.Subject.doAs(Subject.java:422) 在 org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) 在 org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158) 引起:java.io.IOException:无法缓冲记录 在 org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:218) 在 org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:46) 在 org.apache.hadoop.mapred.MapTask$NewDirectOutputCollector.write(MapTask.java:658) 在 org.apache.hadoop.mapreduce.task.TaskInputOutputContextImpl.write(TaskInputOutputContextImpl.java:89) 在 org.apache.hadoop.mapreduce.lib.map.WrappedMapper$Context.write(WrappedMapper.java:112) 在 org.apache.sqoop.mapreduce.TextExportMapper.map(TextExportMapper.java:84) ... 10 更多 引起:java.lang.CloneNotSupportedException:com.cloudera.sqoop.lib.ClobRef 在 java.lang.Object.clone(本机方法) 在 org.apache.sqoop.lib.LobRef.clone(LobRef.java:109) 在 ILABUSER_CDT_ORC_1.clone(ILABUSER_CDT_ORC_1.java:322) 在 org.apache.sqoop.mapreduce.AsyncSqlRecordWriter.write(AsyncSqlRecordWriter.java:213) ... 15 更多

【问题讨论】:

    标签: oracle hive sqoop


    【解决方案1】:

    作为一种解决方法,我使用了--map-column-java 标签。

    我将 Clob 列 (named col_clob) 映射到 Java 中的字符串。

    在上述命令中添加以下代码:

    --map-column-java tag col_clob=String

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2020-11-23
      • 1970-01-01
      • 1970-01-01
      • 2016-02-22
      • 1970-01-01
      • 2017-08-21
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多