我无法让 Pulsar 集群正确重启

Question

我目前正在使用 Apache Pulsar，它是从本地 Minikube 集群上的 helm chart 安装的。安装顺利，Apache Pulsar 运行良好。但是，每当我关闭/重新启动笔记本电脑时，我都无法让所有 pod 再次运行。我总是得到CrashLoopBackOff 状态。我尝试在重启机器时使用以下命令重启 Pulsar 集群 (minikube start)：

xyz-MBP:~ xyz$ minikube start
????  minikube v1.23.2 on Darwin 11.4
????  Kubernetes 1.22.2 is now available. If you would like to upgrade, specify: --kubernetes-version=v1.22.2
✨  Using the docker driver based on existing profile
????  Starting control plane node minikube in cluster minikube
????  Pulling base image ...
????  Restarting existing docker container for "minikube" ...
????  Preparing Kubernetes v1.19.0 on Docker 20.10.8 ...
????  Verifying Kubernetes components...
    ▪ Using image gcr.io/k8s-minikube/storage-provisioner:v5
    ▪ Using image kubernetesui/dashboard:v2.3.1
    ▪ Using image kubernetesui/metrics-scraper:v1.0.7
????  Enabled addons: storage-provisioner, default-storageclass, dashboard

❗  /usr/local/bin/kubectl is version 1.22.0, which may have incompatibilites with Kubernetes 1.19.0.
    ▪ Want kubectl v1.19.0? Try 'minikube kubectl -- get pods -A'
????  Done! kubectl is now configured to use "minikube" cluster and "default" namespace by default

现在，看起来它开始正常，但是当我稍后去查询 pod 的状态时，我得到以下信息：

xyz-MBP:pulsar xyz$ kubectl get pods -n pulsar
NAME                                         READY   STATUS             RESTARTS   AGE
pulsar-mini-bookie-0                         0/1     CrashLoopBackOff   8          25h
pulsar-mini-bookie-init-kqx6j                0/1     Completed          0          25h
pulsar-mini-broker-0                         0/1     CrashLoopBackOff   8          25h
pulsar-mini-grafana-555cf54cf-jl5xp          1/1     Running            1          25h
pulsar-mini-prometheus-5556dbb8b8-k5v2v      1/1     Running            1          25h
pulsar-mini-proxy-0                          0/1     Init:1/2           1          25h
pulsar-mini-pulsar-init-h78xk                0/1     Completed          0          25h
pulsar-mini-pulsar-manager-6c6889dff-r6tmk   1/1     Running            1          25h
pulsar-mini-toolset-0                        1/1     Running            1          25h
pulsar-mini-zookeeper-0                      1/1     Running            1          25h

迷你代理永远不会退出初始化阶段，并且 bookie 和 broker 不断重试并立即进入CrashLoopBackOff。然后，在挖掘 Bookie pod 的日志时，我看到了以下不熟悉的异常：

01:15:10.164 [main] ERROR org.apache.bookkeeper.bookie.Bookie - Cookie for this bookie is not stored in metadata store. Bookie failing to come up
01:15:10.170 [main] ERROR org.apache.bookkeeper.server.Main - Failed to build bookie server

另外，我从代理 pod 中得到一个异常：

01:21:44.733 [main-EventThread] ERROR org.apache.bookkeeper.proto.PerChannelBookieClient - Cannot connect to pulsar-mini-bookie-0.pulsar-mini-bookie.pulsar.svc.cluster.local:3181 as endpopint resolution failed

上述错误还有很多，但不想在此处转储整个日志。上面的错误是第一个出现的错误，我相信接下来的任何事情都只是上面的后果......如果我弄错了，请告诉我！

Answer 1

集群需要按特定顺序关闭，否则您可能会损坏数据。 试试这个：

1. 首先关闭代理。如果您有代理，请在代理之前将其关闭。
2. 关闭 BookKeeper 节点。
3. 关闭 Zookeeper 节点。

如果这没有帮助，我需要查看日志以更好地了解容器未启动的原因。

Answer 2

解决方案：

1. 您可以检查您的应用程序是否由于导致问题的应用程序崩溃而退出。运行以下命令应该可以让您了解容器日志中是否发生了这种情况：

kubectl 记录 pod-name --all-containers=true

如果您启用堆栈驱动程序日志记录，则可以使用以下过滤器获取容器日志：

Stackdriver V1：

resource.type="container"

resource.labels.pod_id="$POD_NAME"

Stackdriver V2：

resource.type="k8s_container"

resource.labels.pod_name="$POD_NAME"

1. 您可以检查您的活性探测是否失败，这会导致崩溃。这些将在 pod 事件中。运行以下命令应该可以让您了解这是否正在发生：

kubectl 描述 pod "$POD_NAME"

如果您有堆栈驱动程序日志记录，则可以使用以下过滤器获取 pod 事件日志：

Stackdriver V1：

resource.type="gke_cluster"

logName="projects/$PROJECT_ID/logs/events"

jsonPayload.reason="不健康"

jsonPayload.involvedObject.name="$POD_NAME"

Stackdriver V2：

resource.type="k8s_pod"

logName="projects/$PROJECT_ID/logs/events"

jsonPayload.reason="不健康"

resource.labels.pod_name="$POD_NAME"

此问题的根本原因： 吊舱只是陷入了启动和崩溃的循环。