DB2 数据导入 hadoop答案

【问题标题】：DB2 data import into hadoopDB2 数据导入 hadoop
【发布时间】：2015-07-11 19:56:11
【问题描述】：

我想将 DB2 数据库中的数据导入到 hadoop(HDFS,Hive)。一种方法是通过 sqoop 来完成，我们可以用其他方式做同样的事情吗？请分享其他方法。谢谢

【问题讨论】：

你能做 jdbc 连接到 DB2。我对 DB2 不是很熟悉？
我还没有这样做，但是可以通过下载 IBM 提供的 DB2 连接器来实现...
那么这可能会帮助你archanaschangale.wordpress.com/tag/dbinputformat
小心那个“连接器”。有一个名为 IBM Data server JDBC 的 JDBC 驱动程序，这正是您所需要的。还有一个叫做 DB2 连接的东西，但是用于 DRDA 连接（到大型机）

标签： hadoop import db2 hive sqoop

【解决方案1】：

Sqoop 是最好的选择。其他任何事情都需要大量的自定义代码。实际上，我参与过一个项目，我们有一个非常深奥的原因，我们不能使用 Sqoop，但它最终并不是那么微不足道。你最终会担心翻译类型、处理空值、编码、转义、重试、事务等。

为什么要重新发明轮子？我知道没有其他 RDBMS Hive 连接器，因为 Sqoop 做得很好。除非您有非常好的、非常具体的理由不这样做，否则请使用 Sqoop。

【讨论】：

谢谢....同意乔，sqoop 是最好的方法...但是让我告诉你，我们有理由不使用 sqoop...

【解决方案2】：

试试这个 Sqoop 命令。

sqoop import --driver com.ibm.db2.jcc.DB2Driver --connect jdbc:db2://db2.my.com:50000/databaseName --username database_name --password database_password --table table_name --split -by tbl_primarykey --target-dir sqoopimports

【讨论】：

【解决方案3】：

使用 DB2 导出实用程序将数据从数据库导出到文件，然后将 FTP 平面文件导出到 Hadoop，然后加载到 Hive。

简单的导出操作需要目标文件、文件格式和源文件。 db2 export to "target" of "fileformat" select * from "soruce"

【讨论】：