无法设置 kerberized kafka 代理：使用 Zookeeper 仲裁成员进行身份验证时出错：仲裁成员的 saslToken 为空答案

【问题标题】：Cannot setup kerberized kafka broker: Error in authenticating with a Zookeeper Quorum member: the quorum member's saslToken is null无法设置 kerberized kafka 代理：使用 Zookeeper 仲裁成员进行身份验证时出错：仲裁成员的 saslToken 为空
【发布时间】：2020-06-12 00:58:03
【问题描述】：

所以我一直在尝试在启用了 kerberos 的单个节点上设置 kafka 代理和 zookeeper。

大部分内容基于本教程：https://qiita.com/visualskyrim/items/8f48ff107232f0befa5a

系统：Ubuntu 18.04 设置：一个 Zoopeeker 实例和一个 kafka 代理进程在一个 EC2 盒子中，一个 KDC 在另一个 EC2 盒子中。两者都在同一个安全组上，并在 UDP 88 上开放端口。

这是我到目前为止所做的。

从这里下载了 kafka 代理：https://kafka.apache.org/downloads
创建了一个 KDC 并正确生成了密钥表（通过 kinit -t 验证）。然后在 /etc/hosts 文件中定义 krb5_config 文件和主机条目到 kdc。
创建了两个 jaas 配置

cat zookeeper_jaas.conf

Server {
  com.sun.security.auth.module.Krb5LoginModule required debug=true
  useKeyTab=true
  keyTab="/etc/kafka/zookeeper.keytab"
  storeKey=true
  useTicketCache=false
  principal="zookeeper";
};

cat kafka_jaas.conf

cat /etc/kafka/kafka_jaas.conf
KafkaServer {
  com.sun.security.auth.module.Krb5LoginModule required debug=true
  useKeyTab=true
  useTicketCache=false
  storeKey=true
  keyTab="/etc/kafka/kafka.keytab"
  principal="kafka";
};

Client {
  com.sun.security.auth.module.Krb5LoginModule required debug=true
  useKeyTab=true
  storeKey=true
  useTicketCache=false
  keyTab="/etc/kafka/kafka.keytab"
  principal="kafka";
};

在 kafka 代理配置中添加了一些行。

config/zookeeper 文件添加了这些额外的行

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
kerberos.removeHostFromPrincipal=true
kerberos.removeRealmFromPrincipal=true

并且 config/server.properties（代理的配置文件）添加了这些额外的行

listeners=SASL_PLAINTEXT://kafka.com:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=GSSAPI
sasl.enabled.mechanism=GSSAPI
sasl.kerberos.service.name=kafka

在一个屏幕会话中，我会这样做

5. export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/etc/kafka/zookeeper_jaas.conf -Dsun.security.krb5.debug=true"

然后运行

bin/zookeeper-server-start.sh config/zookeeper.properties

这会正确运行，并且 Zookeeper 会启动。

在另一个屏幕会话中我这样做

6. export KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/etc/kafka/kafka_jaas.conf -Dsun.security.krb5.debug=true"

然后运行

bin/kafka-server-start.sh config/server.properties

但是这个失败了，除了这个例外

[2020-02-27 22:56:04,724] ERROR SASL authentication failed using login context 'Client' with 
exception: {} (org.apache.zookeeper.client.ZooKeeperSaslClient)
javax.security.sasl.SaslException: Error in authenticating with a Zookeeper Quorum member: 
the quorum member's saslToken is null.
        at org.apache.zookeeper.client.ZooKeeperSaslClient.createSaslToken(ZooKeeperSaslClient.java:279)
    at org.apache.zookeeper.client.ZooKeeperSaslClient.respondToServer(ZooKeeperSaslClient.java:242)
    at org.apache.zookeeper.ClientCnxn$SendThread.readResponse(ClientCnxn.java:805)
    at org.apache.zookeeper.ClientCnxnSocketNIO.doIO(ClientCnxnSocketNIO.java:94)
    at org.apache.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:366)
    at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1141)
[2020-02-27 22:56:04,726] ERROR [ZooKeeperClient Kafka server] Auth failed. 
(kafka.zookeeper.ZooKeeperClient)
[2020-02-27 22:56:04,842] ERROR Fatal error during KafkaServer startup. Prepare to shutdown 
(kafka.server.KafkaServer)
org.apache.zookeeper.KeeperException$AuthFailedException: KeeperErrorCode = AuthFailed for 
/consumers
    at org.apache.zookeeper.KeeperException.create(KeeperException.java:126)
    at org.apache.zookeeper.KeeperException.create(KeeperException.java:54)
    at kafka.zookeeper.AsyncResponse.maybeThrow(ZooKeeperClient.scala:560)
    at kafka.zk.KafkaZkClient.createRecursive(KafkaZkClient.scala:1610)
    at kafka.zk.KafkaZkClient.makeSurePersistentPathExists(KafkaZkClient.scala:1532)
    at kafka.zk.KafkaZkClient.$anonfun$createTopLevelPaths$1(KafkaZkClient.scala:1524)
    at kafka.zk.KafkaZkClient.$anonfun$createTopLevelPaths$1$adapted(KafkaZkClient.scala:1524)
    at scala.collection.immutable.List.foreach(List.scala:392)
    at kafka.zk.KafkaZkClient.createTopLevelPaths(KafkaZkClient.scala:1524)
    at kafka.server.KafkaServer.initZkClient(KafkaServer.scala:388)
    at kafka.server.KafkaServer.startup(KafkaServer.scala:207)
    at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:38)
    at kafka.Kafka$.main(Kafka.scala:84)
    at kafka.Kafka.main(Kafka.scala)

我还启用了 kerberos 调试日志

这是 kerberos 的凭据日志

调试：----凭据----
客户：kafka@VISUALSKYRIM
服务器：zookeeper/localhost@VISUALSKYRIM
票：sname：zookeeper/localhost@VISUALSKYRIM
结束时间：1582881662000
----凭证结束----

这意味着客户端 jaas 配置在某种程度上是一个问题，并且问题出自这行代码：https://github.com/apache/zookeeper/blob/master/zookeeper-server/src/main/java/org/apache/zookeeper/client/ZooKeeperSaslClient.java#L310，但我终生无法弄清楚原因。我用融合文档和https://docs.confluent.io/2.0.0/kafka/sasl.html 交叉引用了它，看来我做对了。那么给了什么？

谁能帮我解决这个问题？谢谢。

【问题讨论】：

标签： apache-kafka apache-zookeeper kerberos sasl

【解决方案1】：

原来kafka隐含地相信zookeeper的校长是

zookeeper/localhost

为了进步我

在 KDC 中创建了 zookeeper/localhost 主体。
为此创建了一个名为 zookeeper-server.keyta 的 keytab
将 zookeeper jaas 配置更新为

服务器{ com.sun.security.auth.module.Krb5LoginModule 需要 debug=true useKeyTab=true keyTab="/etc/kafka/zookeeper-server.keytab" 存储键=真 useTicketCache=false 主体=“动物园管理员/本地主机”； };

现在不再显示此错误。

kafka 生产者似乎正在根据我的 /etc/hosts 配置获取 SPN

# Replace there keberos KDC server IP with the appropriate IP addresses
172.31.40.220 kerberos.com
127.0.0.1 localhost

【讨论】：

【解决方案2】：

也许尝试查看KAFKA_HOME/config/server.properties 并将默认localhost 更改为your-host in zookeeper.connect=localhost:2181

作为主体 cname 与 sname 不同。示例：

cname zk/myhost@REALM.MY
sname zookeeper/localhost@REALM.MY

我还最终使用了 EXTRA_ARGS 选项 -Dzookeeper.sasl.client.username=zk，如 docs 中所述。

为我工作。看起来像代码1，2 应该处理这个忽略它并使用这个属性来代替。

【讨论】：