将 Cloudera Connector for Teradata 与 Sqoop 一起使用时出现问题答案

【问题标题】：Issue with using Cloudera Connector for Teradata with Sqoop将 Cloudera Connector for Teradata 与 Sqoop 一起使用时出现问题
【发布时间】：2013-10-01 02:42:40
【问题描述】：

我们正在开发一种将 hive 表移动到 teradata 的解决方案，并且我们正在使用 mapr-sqoop1.4.2 和 cloudera connector for teradata 1.0.5。 Mapr 版本是 M5。然而，性能会波动，因为一些表在 15-20 分钟内从 Hadoop 导出到 Teradata，而其他表则需要 3-4 小时。没有。所有表的记录和文件大小都相同，没有。在 teradata 中用作主索引的列的唯一值。（没有倾斜）。

客户提出的问题是cloudera connector 1.0.5是否真的使用了FASTLOAD。已传输的数据显示为在似乎没有使用 FASTLOAD 的 DBQL 表（Teradata）中插入语句。

那么我怎样才能确定导出实际上是在使用 FASTLOAD 呢？

【问题讨论】：

标签： teradata cloudera sqoop

【解决方案1】：

Cloudera 连接器是“Teradata Hadoop 连接器”的包装器。尝试直接使用 Teradata 的连接器来比较性能：

http://developer.teradata.com/connectivity/articles/teradata-connector-for-hadoop-now-available

您的 Teradata DBA 应该能够从 Teradata 的 Viewpoint 工具的历史中告诉您在导出期间是否使用了 FastLoad。

【讨论】：