【问题标题】:Does Zeppelin 0.10.0 try to run interpreter in k8s cluster?Zeppelin 0.10.0 是否尝试在 k8s 集群中运行解释器?
【发布时间】:2022-01-13 23:26:48
【问题描述】:
version
Java 1.8.0_242-b08
Spark 2.4.5
Zeppelin 0.10.0

在一个 k8s Pod 中,上面设置,web ui 运行,我打开 Zeppelin 的 spark 解释器并运行 sc。打印出以下错误:

io.fabric8.kubernetes.client.KubernetesClientException: Operation: [create] for kind: [Pod] with name: [null] in namespace: [default] failed.

除了不工作之外,我不明白的是Zeppelin是否使用k8s以及如何使用。

做了一些搜索。 fabric8 似乎与 k8s 有关,我想 Zeppelin 试图在 k8s 集群中运行其解释器。然而,在机器(Zeppelin 正在运行的地方)中没有安装 k8s(?... 像 kubectl?)。所以我能想到的解释有两种:

  1. fabric8 包含 k8s,因此 Zeppelin 创建本地 k8s 集群来运行其解释器。
  2. Zeppelin 以某种方式检测到它已在 k8s Pod 中运行,并尝试使用该集群创建 Pod,并在其中运行解释器。

认为第一个解释是正确的。但是在后台运行本地 k8s 集群感觉......怎么样?错误本身已通过使用不同的版本解决:Spark 2.4.0、Zeppelin 0.8.2,但如果我能使用最新的 Spark 和 Zeppelin,那就太好了。

此外,错误本身似乎与specific Java version有关。

【问题讨论】:

    标签: apache-spark kubernetes apache-zeppelin


    【解决方案1】:

    发现 Zeppelin 有一个参数 ZEPPELIN_RUN_MODE。默认情况下,它设置为“自动”。如果您在 Pod 中运行 Zeppelin,并且不想在 k8s sidecar 中运行,则应将其设置为“本地”。

    【讨论】:

      【解决方案2】:

      你是对的。

      fabric8 是一个基于 Docker、Kubernetes 和 Jenkins 的自以为是的开源微服务平台

      [source]

      启动fabric8
      gofabric8 start
      

      下载并启动minikube,本质上是一个小型的单节点kubernetes集群。它还将安装kubectl

      【讨论】:

      • 你好@김기영。这是answer your question吗?
      • 不,不是。答案是关于“gofabric8”,而不是“Zeppelin”。
      猜你喜欢
      • 2020-09-24
      • 2020-08-04
      • 1970-01-01
      • 1970-01-01
      • 2020-12-18
      • 2017-10-20
      • 1970-01-01
      • 2018-02-19
      • 1970-01-01
      相关资源
      最近更新 更多