使用 Spring Boot 在 Kerberized kafka 集群到 hadoop 集群之间的数据流

Question

我有一个流式用例来开发一个 Spring Boot 应用程序，它应该从 kafka 主题读取数据并放入 hdfs 路径，我为 kafka 和 hadoop 获得了两个不同的集群。 应用程序运行良好，无需在 kafka 集群中进行 kerberos 身份验证并且 hadoop 被 kerberized。

两个集群都被 kerberized 时出现问题，同时我只能在一个集群中进行身份验证。

我做了很少的分析/谷歌搜索，我找不到太多帮助， 我的理论是我们无法在同一个 jvm 实例上登录/验证到两个 kerberized 集群，因为我们需要在代码中设置 REALM 和 KDC 细节，这些细节不是特定于客户端而是特定于 jvm，

可能是我没有使用正确的 API，我对 Spring boot 很陌生。

我知道我们可以通过在集群之间设置跨领域信任来做到这一点，但如果可能的话，我正在寻找应用程序级别的解决方案。

我有几个问题

1. 如果可能的话，是否可以在同一个 jvm 实例中登录/验证两个单独的 kerberized 集群？请帮帮我，最好使用 Spring Boot。
2. 将数据从 kafka 集群流式传输到 hadoop 集群的最佳解决方案是什么。

Answer 1

将数据从 kafka 集群流式传输到 hadoop 集群的最佳解决方案是什么。

Kafka 的 Connect API 用于将源和目标与 Kafka 进行流式集成，仅使用配置文件 - 无需编码！ HDFS connector 是您想要的，并且支持 Kerberos 身份验证。它是开源的，可通过standalone 或作为Confluent Platform 的一部分使用。