【发布时间】:2022-01-13 23:26:48
【问题描述】:
| version | |
|---|---|
| Java | 1.8.0_242-b08 |
| Spark | 2.4.5 |
| Zeppelin | 0.10.0 |
在一个 k8s Pod 中,上面设置,web ui 运行,我打开 Zeppelin 的 spark 解释器并运行 sc。打印出以下错误:
io.fabric8.kubernetes.client.KubernetesClientException: Operation: [create] for kind: [Pod] with name: [null] in namespace: [default] failed.
除了不工作之外,我不明白的是Zeppelin是否使用k8s以及如何使用。
做了一些搜索。 fabric8 似乎与 k8s 有关,我想 Zeppelin 试图在 k8s 集群中运行其解释器。然而,在机器(Zeppelin 正在运行的地方)中没有安装 k8s(?... 像 kubectl?)。所以我能想到的解释有两种:
-
fabric8包含 k8s,因此 Zeppelin 创建本地 k8s 集群来运行其解释器。 - Zeppelin 以某种方式检测到它已在 k8s Pod 中运行,并尝试使用该集群创建 Pod,并在其中运行解释器。
认为第一个解释是正确的。但是在后台运行本地 k8s 集群感觉......怎么样?错误本身已通过使用不同的版本解决:Spark 2.4.0、Zeppelin 0.8.2,但如果我能使用最新的 Spark 和 Zeppelin,那就太好了。
此外,错误本身似乎与specific Java version有关。
【问题讨论】:
标签: apache-spark kubernetes apache-zeppelin