【问题标题】:Can't submit new job via gui on standalone kubernetes flink deployment (session mode)无法在独立 kubernetes flink 部署(会话模式)上通过 gui 提交新作业
【发布时间】:2021-09-01 14:10:08
【问题描述】:

在独立 kubernetes 模式(会话集群)中部署 flink 后,我无法使用 flink GUI 上传任何新作业。单击+添加新按钮并选择jar文件后,进度条结束,没有任何反应。 Job Manager 日志中没有关于此的信息/错误。 当我尝试上传任何文件(例如文本文件)时出现错误,并且日志中有一条信息:

"Exception occured in REST handler: Only Jar files are allowed."

我也尝试过上传假 jar(一个名为 .jar 的空文件)并且它有效 - 我可以上传这种文件。

我有一个全新的、干净的 Apache Flink 集群在 Kubernetes 集群上运行。 我使用了 docker hub 映像,并尝试了两个不同的版本:

*1.13.2-scala_2.12-java8, and
1.13-scala_2.11-java8*

但是两个版本的结果是一样的。

我的部署基于此操作指南:

https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/resource-providers/standalone/kubernetes/

我使用了附录中提供的 yaml 文件# 常见的集群资源定义#本文:

flink-configuration-configmap.yaml
jobmanager-service.yaml
taskmanager-session-deployment.yaml
jobmanager-session-deployment-non-ha.yaml

我还使用入口控制器在 jobmanager 上发布在 8081 上运行的 GUI。

我有树 pods(1 个作业管理器,2 个任务管理器),并且在 flink 日志中看不到任何错误。

任何建议我缺少什么,或者什么时候发现任何错误?

【问题讨论】:

    标签: kubernetes deployment apache-flink


    【解决方案1】:

    问题解决了。问题是由 nginx 上传限制(默认为 1024kb)引起的。 Flink GUI 使用入口控制器和 nginx 在 Kubernetes 外部发布。 当我们尝试上传大于 1MB (1024kb) 的作业文件时,nginx 限制阻止这样做。大小低于此限制的作业(例如 0 kb 大小的假 jar)已成功上传

    【讨论】:

    • 请在您的回答中提供更多详细信息。正如目前所写的那样,很难理解您的解决方案。
    • 解决方案已编辑 - 我认为现在更容易理解
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-04-06
    • 1970-01-01
    • 2022-10-24
    • 2014-10-30
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多