将 Spark 应用程序与 Web 服务器连接

Question

我将尝试解释我的简化用例。有：

1. 计算单词的 Spark 应用程序。
2. 为网页提供表单的网络服务器。
3. 可以在此表单中输入单词并提交的用户。

服务器接收到单词并将其发送到 Spark 应用程序。 Spark 应用程序根据一些数据将这个词作为输入，并且这个词启动一个重新计算的作业。 Spark 完成计算后，会将结果发送到 Web 服务器，该服务器会在网页上显示结果。

问题是，如何在 spark 应用程序和 web 服务器之间建立通信？

我想，spark-jobserver 或 spark-streaming 可以帮助我，但我不确定。

Answer 1

有几个项目可以帮助您解决这个问题。

通常，您运行一个单独的网络服务器来管理 spark 作业，因为在 spark-submit cli 周围有一些凌乱的 systemExec 工作来完成此操作。显然，它在与您的主应用程序不同的端口上运行，并且只能由主 Web 应用程序的服务器组件访问。

有几个开源项目可以为您处理这个问题：

https://github.com/spark-jobserver/spark-jobserver

https://github.com/cloudera/livy