Flink 1.6.0 作业 jar 上传大小限制答案

【问题标题】：Flink 1.6.0 job jar upload size limitFlink 1.6.0 作业 jar 上传大小限制
【发布时间】：2018-08-17 10:45:26
【问题描述】：

什么是作业 jar 文件大小限制，我是否可以覆盖它？

使用 Flink 1.6.0 并使用完全 REST 化的 job submission 我尝试上传 jar，例如：

$ curl http://localhost:8081/jars/upload -X POST -F "jarfile=@word-count-beam/target/word-count-beam-bundled-0.1.jar" --verbose
Note: Unnecessary use of -X or --request, POST is already inferred.
*   Trying ::1...
* TCP_NODELAY set
* Connected to localhost (::1) port 8081 (#0)
> POST /jars/upload HTTP/1.1
> Host: localhost:8081
> User-Agent: curl/7.54.0
> Accept: */*
> Content-Length: 108716165
> Expect: 100-continue
> Content-Type: multipart/form-data; boundary=------------------------ab44aa4cd2db3c75
> 
* Done waiting for 100-continue
< HTTP/1.1 413 Request Entity Too Large
< content-length: 0
* HTTP error before end of send, stop sending
< 
* Closing connection 0

但我明白了：

413 Request Entity Too Large

实际的jar文件大小为：

$ du -h word-count-beam/target/word-count-beam-bundled-0.1.jar
113M    word-count-beam/target/word-count-beam-bundled-0.1.jar

我正在使用 1.6.0-scala_2.11 图像在 docker 中运行 Flink。

更新：尝试从 Web UI 上传时也是如此：

注意：jar 上传功能适用于 Flink 1.5 (Docker)。

【问题讨论】：

您确定您尝试上传的 jar 文件没有被任何其他进程使用吗？取决于您的操作系统，这可能会导致上传时出现问题。

标签： apache-flink

【解决方案1】：

@robosoul ，我认为有一个rest limit in config，默认最大大小为104857600字节，看起来你超出了限制

【讨论】：

感谢您的回答。设置 'rest.server.max-content-length' 解决了它。