AWS 上的 IIDR CDC Kafka答案

【问题标题】：IIDR CDC Kafka on AWSAWS 上的 IIDR CDC Kafka
【发布时间】：2019-01-25 10:35:21
【问题描述】：

我们正在尝试将数据从 db2-IIDR (IBM CDC) 发布到 AWS 上的 Kafka。由于以下错误，订阅失败-

 An error occurred during the conversation with Kafka. 
    Error: org.apache.kafka.common.errors.TimeoutException: Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers for cdckafka-subsname-commitstream-0

在 AWS 上将流从 IIDR 发布到 Kafka 是否需要执行任何先决条件？

更多细节 -

-Kafka 集群在 AWS 上运行

-IIDR CDC 引擎 --> 本地（源和目标）

-本地 IP 已被列入白名单，我可以 ping/telnet 端口从本地到 aws，反之亦然。

谢谢！

【问题讨论】：

您对这里的细节有点了解 :) 您的部署在网络方面是什么样的？ AWS 本地的一切？你是如何为网络配置 Kafka 的？等
@Robin - 我已经编辑了这个问题。如果您需要更多详细信息，请告诉我。

标签： amazon-web-services apache-kafka cdc ibm-infosphere ibm-data-replication

【解决方案1】：

您需要为您的 Kafka 代理设置可与外部客户端配合使用的侦听器。你可以看到details here。

仅从本地客户端 ping 到 AWS 是不够的 - 您需要使用 Kafka 客户端（例如 kafkacat）对其进行验证

【讨论】：