通过 IIDR CDC 将 DB2 表复制到 Hadoop dsv、.dat 或 .txt 格式答案

【问题标题】：DB2 tables replication into Hadoop dsv, .dat or .txt format through IIDR CDC通过 IIDR CDC 将 DB2 表复制到 Hadoop dsv、.dat 或 .txt 格式
【发布时间】：2020-10-11 21:44:18
【问题描述】：

我已成功地将 DB2 表复制到 Hadoop IIDR CDC 中。但是，这些文件是 csv 格式，并且 Hadoop 客户要求标准分隔符是 \x1c，他们通常接受的文件是 .dsv 或 .dat 格式，但也适用于 .txt。我试图创建平面文件，但它没有要求 Kerberos 设置和复制失败（身份验证失败）。我收到此错误消息 DataStage 目标中发生异常。打开平面文件时出错。错误：/TST/DL/CARD/HADOOPTABLE.@2020173.T210420110（没有这样的文件或目录）

请告诉我如何设置 dsv、.dat 或 .txt 格式的配置？

【问题讨论】：

我说得对吗，您能够让 CDC for DS 在本地文件系统中生成文件，但是您在使用 File Connector 阶段的 DataStage 作业时遇到问题？

标签： hadoop db2 cdc

【解决方案1】：

我相信 OP 正在使用 IBM Data Replication CDC 通过 WebHDFS API 直接针对 Hadoop，具体如下： https://www.ibm.com/support/knowledgecenter/SSTRGZ_11.4.0/com.ibm.cdcdoc.mcadminguide.doc/concepts/map_to_hadoop.html

在这种情况下，CDC 会将通过 WebHDFS 上传的文件格式化为带有标准逗号字段分隔符的 CSV。

要修改格式，通常可以将格式化程序用户出口实现到平面文件目标。 https://www.ibm.com/support/pages/infosphere-change-data-capture-how-can-you-change-field-delimiter-flat-file-datastage

我不知道 CDC 的 Hadoop WebHDFS 目标是否支持此用户出口格式化程序...

【讨论】：