如何将消息从 Google Cloud pubsub（gcp）发布到远程运行的 Kafka 主题

Question

需要帮助才能将所有消息从 GCP（Google Cloud Pubsub）发布到远程运行的 Kafka 主题

我使用了来自“https://powerspace.tech/how-to-stream-data-from-google-pubsub-to-kafka-with-kafka-connect-dbef1c340a76”的连接器代码，并且能够将数据从 GCP 移动到 Kafka 主题。 Kafka 和连接器在同一台机器上运行，现在我只需要拥有连接器代码并将来自 PubSub 的消息添加到远程运行的 Kafka 主题

Answer 1

将消息从 Google Cloud Pub/Sub 复制到远程运行的 Kafka 主题与所有内容都位于 GCP 中应该没有太大区别。有两种选择：

1. 使用您的 Kafka 部署运行 Kafka 连接。在这种情况下，您必须确保运行 Kafka 的机器有权在端口 443 上向 Google Cloud 发出传出请求。
2. 在 GCP 上运行 Kafka（可能在 GCE 实例中）。您必须将Kafka connect configuration 中的bootstrap.servers 属性设置为运行Kafka 的服务器列表。这意味着这些服务器必须是可公开寻址的并允许传入连接。