Sqoop 中 --connection-manager 的意义

Question

我编写了 sqoop 脚本来将数据从 Teradata 导入 Hive。

`sqoop import \
--connect $JDBC_URL \
--driver com.teradata.jdbc.TeraDriver \
--username $Username \
--password $Password \
--table $TD_Table \
--hive-import \
--hive-overwrite \  
--hive-drop-import-delims \
--hive-table $Hive_Database.$Hive_Staging_Table \
--split-by $Split_Col \
-m $Mapper_Number`

上面的脚本给出警告

--connection-manager). Sqoop is going to fall back to org.apache.sqoop.manager.GenericJdbcManager.

但是当我在上面的脚本中使用 --connection-manager 时，我的 --hive-drop-import-delims 和 --hive-overwrite strong> 停止工作

我试图了解连接管理器参数的意义是什么，如果我省略它，它将如何影响我的导入

请推荐

Answer 1

您不需要在上面使用--driver。另外，请确保您在/etc/sqoop/conf/managers.d 中设置了连接管理器。以下是让它工作的步骤：

1. cd /etc/sqoop/conf
2. mkdir managers.d && cd managers.d
3. echo '<manager factory class> = <manager factory jar>' > td_connector.txt

manager factory jar 应该放在/var/lib/sqoop，可以从Cloudera下载一个。