【问题标题】:Push Messages from AWS Lambda to Kafka in another aws account将消息从 AWS Lambda 推送到另一个 aws 账户中的 Kafka
【发布时间】:2022-06-11 12:26:00
【问题描述】:

我想将消息从 Lambda 发送到不同 aws 帐户中的 kafka 主题。我的 lambda 是生产者。

我们是否有任何现有的文档来设置此配置? Lambda 如何与另一个 aws 帐户中的 kafka 通信?

我们正在使用共享的 confluent kafka,它位于不同的 aws 帐户中,而我的 lambda 位于另一个 aws 帐户中。

我没有看到任何如何传递登录信息和经纪人详细信息的示例。我们有任何示例如何将 lambda 连接到 confluent kafka。

p = Producer({'bootstrap.servers': 'mybroker1,mybroker2'})

上面写着Failed to resolve 'xxxxx.xxxx.xxxx.xxxxx.com:19092': Name or service not known

我在从 aws lambda 连接到 confluent kafka 时看到以下错误

"errorMessage": "KafkaError{code=_INVALID_ARG,val=-186,str=\"Java JAAS configuration is not supported, see github.com/edenhill/librdkafka/wiki/Using-SASL-with-librdkafka for more information.\"}", "errorType": "KafkaException"

https://github.com/confluentinc/examples/blob/master/clients/cloud/python/producer.py

【问题讨论】:

  • 为什么其他账户(或 Kafka 在 AWS 中)很重要?只要外部 VPC 允许远程连接,它就不会。例如。这些记录可以通过开放的互联网传播。
  • 换句话说,如果你把bootstrap.servers作为远程集群所需的地址,你会得到什么错误?
  • 问题不合题,见第3条stackoverflow.com/help/on-topic
  • 我们使用的是共享的 confluent kafka,它位于不同的 aws 帐户中,而我的 lambda 位于另一个 aws 帐户中。
  • 我没有看到任何示例如何将登录信息与经纪人详细信息一起传递。我们有任何示例如何将 lambda 连接到 confluent kafka。 p = Producer({'bootstrap.servers': 'mybroker1,mybroker2'})

标签: amazon-web-services apache-kafka aws-lambda


猜你喜欢
  • 1970-01-01
  • 2023-02-13
  • 2022-01-25
  • 1970-01-01
  • 2019-10-25
  • 2020-05-19
  • 1970-01-01
  • 2020-10-31
  • 2021-12-24
相关资源
最近更新 更多