【发布时间】:2019-11-06 23:56:25
【问题描述】:
在 Spark 中,我熟悉的三个集群(非本地)部署选项:
- 独立
- 梅索斯
- 纱线
可能有更多集群部署选项,但我关心这三个。以上三种都支持client和cluster部署模式。 client 模式涉及从边缘机器本身运行驱动程序,cluster 模式涉及在集群内的一个工作节点中启动驱动程序。
现在在 Flink 方面,我只有一个节点设置的经验,这是我从一些教程中学到的,这些教程并没有真正详细说明生态系统,并且更多地关注代码而不是“也”提供大图景。因此,我正在查看deployment options in Flink,以了解这一点。文档讨论了所有三个选项:独立、Mesos 和 YARN,但从文档中并不清楚它是否支持(我们在 Spark 的行话中称之为)客户端模式或集群模式或两者或其他模式。
这个想法是用 Flink 替换 Spark 集群。我想在执行这些步骤时了解这些步骤。文档中提供了这些步骤。这些步骤背后的基本原理要么是隐含的(足以让我无法理解),要么就是不存在。
Apache Flink 专家/贡献者的解释会有所帮助。
【问题讨论】: