Sqoop 导出不遵守 --columns 参数

Question

我有一个 sqoop 作业，我只想将 3 列从 HIVE 表导出到只有这 3 个字段的 mysql 表中。

export --connect <table> --username <U> --password <p>
--table target --columns "col1,col2,col3" --export-dir /path/to/source/table

请注意，在 hive 表中 col1、col2、col3 之间有一些字段。

抛出的错误是IllegalArgumentException，因为 Sqoop 正在解析 hive 表中 col1 和 col2 之间的字符串字段，我明确地试图忽略它，并试图将其存储为时间戳。

任何建议将不胜感激谢谢！

Answer 1

您遇到了麻烦，因为--columns 不适合您尝试做的事情。

使用sqoop 导出数据时，--columns 允许您指定您将“影响”目标 中的哪些列。它与源（在您的情况下为 Hive）无关。

运行sqoop help export，您只会得到该选项的简要说明：

--columns <col,col,col...>                                Columns to
                                                          export to
                                                          table