如何使用开源 kafka connect 从 Aurora 连接 MSK答案

【问题标题】：How to connect MSK from Aurora using open source kafka connect如何使用开源 kafka connect 从 Aurora 连接 MSK
【发布时间】：2020-04-19 22:57:03
【问题描述】：

我必须将我的 CDC 更改从 Aurora mysql db 放到 MSK kafka topic 。我认为在 AWS 中没有像 DMS 这样的内置机制可以将所有 CDC 从 Aurora 下沉到 MSK 主题，并且在他们的文档中他们没有提到对此的任何支持。

所以我只剩下使用开源的东西了。要使用它，我对此有一些疑问，请帮助我。

我正在做一些搜索，到处都可以看到 kafka-connect-jdbc。所以首先这是这个开源免费许可证吗？
我也见过 debezium one，它将 mysql 连接到 msk。
Aurora 记录将是文本，我需要将记录作为 JSON 放入 MSK，所以我必须使用模式注册表？是架构注册表免费许可还是开源还是 MSK kafka 提供？
如果我必须从 confluent 或 debezium 使用 kafka -connect，我需要 EC2 实例。在这我需要安装什么？只有 kafka 或与 kafka confluent 和 debezium 一样。

请推荐一些免费许可和开源的东西。

【问题讨论】：

标签： mysql apache-kafka apache-kafka-connect amazon-aurora cdc

【解决方案1】：

1) 如果您想在 Zookeeper、Apache Kafka 代理和基础 Kafka Connect（例如 JDBC 连接器插件）之外使用 Confluent Platform 组件，请阅读https://www.confluent.io/confluent-community-license-faq/

2) Debezium 应该可以正常工作。它在 Apache 2.0 许可下；你可以使用 Apache Kafka，而不是 Confluent 平台的其余部分

3a) Schema Registry 只能存储 Avro，不能存储 JSON。因此你不需要它。 3b) Schema Registry 许可见 1

4) 您将需要 EC2 或通过 ECS / EKS 使用 Docker Kafka Connect / Debezium 容器。

还有其他可用的选项可以将 CDC 导入 Kafka，我知道其中一些是开源的，甚至是商业支持的，但在这里列出它们过于宽泛。

关于内置 AWS 服务，您可以在 Aurora 表上触发 lambda 函数来做任何您想做的事情

https://aws.amazon.com/blogs/database/capturing-data-changes-in-amazon-aurora-using-aws-lambda/

Lambda 可能已经/最终会集成 MSK

【讨论】：