为 Kerberos 身份验证配置 Kafka Connect HDFSinkNode答案

【问题标题】：Configuring Kafka Connect HDFSinkNode for Kerberos authentication为 Kerberos 身份验证配置 Kafka Connect HDFSinkNode
【发布时间】：2019-11-24 09:31:45
【问题描述】：

https://docs.confluent.io/current/connect/kafka-connect-hdfs/index.html 列出了以下示例属性：

hdfs.authentication.kerberos=true
connect.hdfs.principal=connect-hdfs/_HOST@YOUR-REALM.COM
connect.hdfs.keytab=path to the connector keytab
hdfs.namenode.principal=namenode principal

遗憾的是，https://docs.confluent.io/current/connect/kafka-connect-hdfs/configuration_options.html 的配置选项文档很简短，几乎没有用处。

作为 Hadoop 的消费者而非管理员，我对它的配置方式有一个非常模糊的理解。

有人能解释一下connect.hdfs.principal 和hdfs.namenode.principal 的用途吗？

【问题讨论】：

标签： hadoop apache-kafka kerberos apache-kafka-connect

【解决方案1】：

主体就像 Kerberos 中的用户名。如果您是 Hadoop 的使用者，并且您需要在处理任何数据之前启动您的 keytab，那么您已经被分配了一个主体。 Connect 服务应该有自己的 keytab 和主体，这是列出的第一个属性

您必须找到为 Hadoop 集群设置 Kerberos 的人员（即管理员）才能了解 Namenode 主体是什么，但简短的回答是，这些设置用于向 HDFS 发出写入请求的身份验证。虽然我不确定为什么您明确需要 Namenode 主体，但 Connect（作为 Hadoop 客户端）联系 namenode 以写入数据，因此内部可能会发生一些验证

【讨论】：