【问题标题】:Flink vs Spark deployment modes on multi-node Cluster多节点集群上的 Flink 与 Spark 部署模式
【发布时间】:2019-11-06 23:56:25
【问题描述】:

在 Spark 中,我熟悉的三个集群(非本地)部署选项:

  • 独立
  • 梅索斯
  • 纱线

可能有更多集群部署选项,但我关心这三个。以上三种都支持clientcluster部署模式。 client 模式涉及从边缘机器本身运行驱动程序,cluster 模式涉及在集群内的一个工作节点中启动驱动程序。

现在在 Flink 方面,我只有一个节点设置的经验,这是我从一些教程中学到的,这些教程并没有真正详细说明生态系统,并且更多地关注代码而不是“也”提供大图景。因此,我正在查看deployment options in Flink,以了解这一点。文档讨论了所有三个选项:独立、Mesos 和 YARN,但从文档中并不清楚它是否支持(我们在 Spark 的行话中称之为)客户端模式集群模式两者其他模式

这个想法是用 Flink 替换 Spark 集群。我想在执行这些步骤时了解这些步骤。文档中提供了这些步骤。这些步骤背后的基本原理要么是隐含的(足以让我无法理解),要么就是不存在。

Apache Flink 专家/贡献者的解释会有所帮助。

【问题讨论】:

    标签: apache-spark apache-flink


    【解决方案1】:

    最近在 Flink 邮件列表上有一个关于这个话题的讨论:

    (主题名称:[DISCUSS] per-job 模式的语义和实现

    https://lists.apache.org/thread.html/6c688a73b281d38670a74f05d63f2858f59da1f37bc7211640de7ca8@%3Cuser.flink.apache.org%3E

    目前,所有从 flink CLI 提交的作业都类似于 Spark 中的 client 模式。

    未来可能会提供类似于集群模式的选择加入选项(正如邮件列表中所指出的那样),尤其是由于 Kubernetes 集群中的 flink 部署数量迅速增加。

    【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2021-01-08
    • 2018-01-17
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2013-04-24
    • 2019-09-20
    • 1970-01-01
    相关资源
    最近更新 更多