如何将 Web 请求中的参数传递给 Spring Boot 纱线应用程序

Question

我正在使用 spring-boot 和 spring-boot-yarn 将纱线应用程序提交到集群。

我的用例接近本教程https://github.com/spring-guides/gs-yarn-basic 中描述的用例。

唯一的区别是我的“客户端”应该是一个 Web 应用程序，并在发出 Web 请求时提交纱线作业。

我遇到的问题是对“客户端”网络应用程序的网络请求提供了我需要传递给纱线作业的参数。

在上述教程中，参数作为命令行参数传递给 application.yml 中指定的 appmaster / 容器。就我而言，这种方法不起作用，因为我对每个纱线作业都有一组不同的参数。

有没有办法将动态参数传递给纱线作业而不在 application.yml 中硬编码？

Answer 1

最初的想法是防止“流氓”用户或应用程序传递属性，然后这些属性会自动以命令行选项结束，可能会对 hadoop 集群造成伤害。

如果这是您想要的，值得在Spring Boot Yarn - Passing Command line arguments 中查看我的答案。

话虽如此，您并不是第一个提出这个问题或“抱怨”它太难或不清楚如何去做的人。我们将在未来的版本中让这变得更容易，主要是因为这似乎是用户想要做的事情。