hive orc 表的 sqoop 导出

Question

我有一个由 py​​spark dataframe_writer 填充的 orc 格式的配置单元表。 我需要将此表导出到 oracle。导出表时遇到问题，因为 sqoop 无法解析 orc 文件格式。

导出hive orc表有什么特殊的注意事项或者参数需要用sqoop命令指定吗？

Answer 1

一个简单的谷歌查询指向blog post 非常明确地标记...

如何 Sqoop 将 Hive ORC 表导出到 Oracle 数据库？

还有SO post标记...

读取 ORC 文件并放入 RDBMS？

看来你没有做任何研究。

顺便问一下，您是否考虑过使用 Spark 通过 JDBC 将数据直接发送到 Oracle 临时表中，而不需要中间的 ORC 转储？

Answer 2

我刚刚在从 orc 到 Oracle 的同一个 sqoop 上工作过。确保您在数据框中使用正确的数据类型预先创建了 ORC 表。列的相同顺序也将简化 sqoop。如果您尝试过任何命令，请发布。