AWS MSK - 适用于 AWS RDS 的 Debezium Postgres 连接器 - 连接失败答案

【问题标题】：AWS MSK - Debezium Postgres Connector for AWS RDS - Failed to ConnectAWS MSK - 适用于 AWS RDS 的 Debezium Postgres 连接器 - 连接失败
【发布时间】：2022-04-04 12:31:20
【问题描述】：

我目前在使用 AWS MSK 连接器（Debezium Postgres 连接器）时遇到以下问题

[Worker-0509fac07b9701a23] [2022-01-19 04:55:28,759] 错误 jdbc:postgresql://debezium-cdc.fac07b9701a2.ap-south-1.rds.amazonaws.com:5432 测试连接失败/ecommerce 与用户 'debezium' (io.debezium.connector.postgresql.PostgresConnector:133)

我已经在 EC2 上使用 Kafka 客户端测试了 AWS MSK 连接器，我能够生成和使用消息。我还设置了 AWS MSK S3 Sink Connector，它也可以正常工作。

我已经仔细检查了 AWS RDS 的安全组配置，我能够从 EC2 连接到它。

我不确定是什么导致了这个问题。

这是连接器配置

connector.class=io.debezium.connector.postgresql.PostgresConnector
tasks.max=1
database.hostname=debezium-cdc.fac07b9701a2.ap-south-1.rds.amazonaws.com
database.port=5432
database.dbname=ecommerce
database.user=debezium
database.password=password
database.history.kafka.bootstrap.servers=b-2.awskafkatutorialclust.awskaf.c4.kafka.ap-south-1.amazonaws.com:9094,b1.awskafkatutorialclust.awskaf.c4.kafka.ap-south-1.amazonaws.com:9094,b-3.awskafkatutorialclust.awskaf.c4.kafka.ap-south-1.amazonaws.com:9094
database.server.id=1
database.server.name=debezium-cdc
database.whitelist=ecommerce
database.history.kafka.topic=dbhistory.ecommerce
include.schema.changes=true
key.converter=org.apache.kafka.connect.json.JsonConverter
value.converter=org.apache.kafka.connect.json.JsonConverter

【问题讨论】：

标签： amazon-web-services debezium aws-msk

【解决方案1】：

您需要设置 AWS RDS 数据库可公开访问：否。因为您的 AWS MSK 在私有网络 (VPC) 中，它无法连接到公共数据库（阅读更多：https://docs.aws.amazon.com/vpc/latest/userguide/how-it-works.html）。

请尝试更改您的 RDS 数据库 Postgres 可公开访问：否。并再次创建 MSK 连接。（确保您的 AWS RDS 数据库与您的 AWS MSK 是相同的 VPC、安全组。）

无论如何，如果你想连接你的私有 AWS RDS 数据库，你需要做关于堡垒主机（阅读更多：https://aws.amazon.com/premiumsupport/knowledge-center/rds-connect-ec2-bastion-host/）。

【讨论】：