【问题标题】:Flink in Kubernetes. How to add submit job step to jobmanager flink docker?Kubernetes 中的 Flink。如何向jobmanager flink docker添加提交作业步骤?
【发布时间】:2018-07-27 08:58:22
【问题描述】:

我将 Flink 与 K8s 一起使用。一切正常,但我必须在 jobmanager 启动时手动提交 jar。

我认为我们可以扩展 flink image 并添加 post action 来提交作业。 所以 jobmanager 将是一对一的 flink 工作。 我认为这是来自https://www.youtube.com/watch?v=w721NI-mtAA的想法

在这种情况下,如果 JM 宕机,K8s 会启动新的 pod 并重新提交作业。

我说的对吗?

有没有人对 flink 进行过这样的 docker 更改?

【问题讨论】:

    标签: java kubernetes streaming apache-flink flink-streaming


    【解决方案1】:

    我解决了这个问题。

    我扩展了 flink Docker 并为其添加了“Flink run “some.jar””步骤。

    效果很好

    https://github.com/Aleksandr-Filichkin/flink-k8s

    【讨论】:

    • 我尝试了项目中指定的 docker 映像,并在以下链接中描述了我面临的问题。 github.com/Aleksandr-Filichkin/flink-k8s/issues/1。如果您能提供一些指示,那就太好了。
    • @Akshata,看起来您没有启动任务管理器服务/部署,只有作业管理器。试试 kubectl create -f taskmanager-deployment.yaml
    • 我已经在运行任务管理器了。我在工单中添加了任务管理器日志。
    • 我在第 54 行对 docker_entrypoint_custom.sh 进行了更改。exec $(drop_privs_cmd) flink "$FLINK_HOME/bin/jobmanager.sh" start-foreground 以解决问题。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-04-06
    • 1970-01-01
    • 2019-02-05
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多