Kubernetes 集群上的 Kafka 与 Istio

Question

我有带有 Istio v1.6.4 的 k8s 集群。 Sidecar 注入默认是禁用的。 我在这个 k8s 上运行了 Kafka 集群，并安装了 strimzi kafka 操作员。 当 kafka 和客户端 pod 没有注入 Istio-proxy 时，Kafka 集群可以正常工作。 我的问题： 当我使用 kafka 客户端创建一个 pod 并注入 Istio-proxy 时，我无法连接到 Kafka 集群。 客户端日志：

java.io.IOException: Connection reset by peer

在服务器端： org.apache.kafka.common.network.InvalidReceiveException: Invalid receive (size = 369295616 larger than 104857600)

在谷歌搜索和检查 Istio-proxy 日志后，发现问题在于 Istio-proxy 使用 TLS 连接到 kafka 明文端点。 我可以通过使用mtls.mode: DISABLED 设置默认 PeerAuthentication 来解决此问题，但我不想为其设置全局设置。

如果我创建一个简单的 k8s 服务并在运行 kafka 服务器的 pod 上运行 netcat“服务器”并在运行 kafka 客户端的 pod 上运行 netcat“客户端”，这有什么奇怪的 - 一切正常。

我有两个问题：

1. 为什么 kafka Istio-proxy 在连接到 Kafka 时表现不同 集群而不是其他 TCP 连接（比如使用 nc）？
2. 如何只为一台主机禁用 mtls？我在玩 PeerAuthentication 但没有运气...

Answer 1

在jt97 的帮助下，我能够解决这个问题。

正如我所写，我正在使用Strimzi Operator 在 k8s 上安装 kafka 集群。它创建了 2 个服务：

• kafka-bootstrap - ClusterIP 的常规服务
• kafka-brokers - 无头服务。

在我的例子中，服务的全名分别是 kafka-kafka-operated-kafka-bootstrap 和 kafka-kafka-operated-kafka-brokers。

我创建了一个 DestinationRule：

apiVersion: networking.istio.io/v1beta1
kind: DestinationRule
metadata:
  name: kafka-no-tls
spec:
  host: "kafka-kafka-operated-kafka-brokers"
  trafficPolicy:
    tls:
      mode: DISABLE

并在连接kafka时使用了无头服务：

kafka-topics --bootstrap-server kafka-kafka-operated-kafka-brokers:9092 --list
__consumer_offsets
_schemas

它按预期工作。

顺便说一句，将 tls.mode 设置为 SIMPLE 没有帮助。

说实话，我仍然不明白为什么在这种特殊情况下，Istio-proxy 默认（没有 DestinationRule）会尝试连接 TLS - 根据documentation：

默认情况下，Istio 会跟踪迁移到 Istio 代理的服务器工作负载，并将客户端代理配置为自动向这些工作负载发送双向 TLS 流量，并向没有 Sidecar 的工作负载发送纯文本流量。