【问题标题】:How to connect Kafka (Aiven) to on-premise SQL Server using the Debezium connector如何使用 Debezium 连接器将 Kafka (Aiven) 连接到本地 SQL Server
【发布时间】:2020-03-07 01:06:14
【问题描述】:

我有一个托管在 Aiven (GCP) 上的云中运行的 kafka 集群。我正在尝试使用 Debezium SQL Server 连接器从我们的本地数据库流式传输 CDC 记录。

有人知道如何从云端的 kafka 连接到本地数据库吗?这可以通过某种 VPN 连接来完成,还是我需要通过谷歌云配置 VPC?感谢任何建议。

【问题讨论】:

    标签: apache-kafka-connect debezium aiven


    【解决方案1】:

    您可以使用 Debezium 将 CDC 记录从数据库流式传输到 Kafka 集群,是的。

    Here's an example 使用不同的托管 Kafka 服务 Confluent Cloud。

    主要是正确设置您的安全设置,以及指定适当的database.history.consumerdatabase.history.producer 配置。

    【讨论】:

    • 感谢您提供详细信息。在示例中,Kafka Connect/Debezium 似乎安装在本地网络中,并将数据推送到云中的 Confluent。 Aiven 提供了一个托管版本的 Kafka connect,它也是基于云的。在这种情况下,您知道如何连接到本地数据库吗?
    • 这可能是问艾文自己最好的问题。
    • Aiven 技术支持的回复: 1. 无法从运行 Aiven 服务的 VPC 设置 VPN 2. 从根本上说,部署 Aiven 服务的 VPC 必须能够访问/连接到本地 MS SQL 服务器。因此,您必须在防火墙中打开端口才能启用此连接。 3. 中转网关可能是一种选择。在这种方法中,Aiven 服务的 VPC 和您的 VPN 都将连接到中转网关,并且网关将知道如何路由流量。我们目前正在开发中转网关功能。
    猜你喜欢
    • 2020-08-28
    • 2020-08-22
    • 2020-04-27
    • 2020-02-16
    • 2019-07-22
    • 2019-10-18
    • 2023-03-30
    • 2021-06-12
    • 2019-02-16
    相关资源
    最近更新 更多