【问题标题】:Flink JobManager HA on EMREMR 上的 Flink JobManager HA
【发布时间】:2020-09-28 07:49:20
【问题描述】:

堆栈 EMR:emr-6.1.0(1个主节点,4个核心节点) EMR 安装应用:FLINK 1.11.0

AWS 文档说 (https://docs.aws.amazon.com/emr/latest/ReleaseGuide/flink-configure.html):

Beginning with Amazon EMR version 5.28.0, JobManager high availability is also enabled automatically. No manual configuration is needed.

但是当我向 Flink jobmanager yarn container -signal container_1601027657994_0003_01_000001 GRACEFUL_SHUTDOWN(与 FORCEFUL_SHUTDOWN 相同)发送终止信号时,纱线容器没有任何反应。 Yarn 不会重启应用。

  1. 我还需要启用 EMR Zookeeper 吗? (很可能是的,否则,我不明白 flink 将如何理解从哪个保存点重新启动应用程序)。
  2. 是否应该使用具有 3 个主节点的 EMR 集群来为 Flink 提供 HA?

【问题讨论】:

    标签: amazon-web-services apache-flink amazon-emr high-availability


    【解决方案1】:

    是的,要拥有 JobManager HA,您需要拥有一个具有 3 个主节点的 EMR,然后 emr 会自动将故障转移配置添加到 flink-conf.yaml(使用 EMR 6.1.0 测试)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2021-11-15
      • 2021-05-16
      • 2022-07-30
      • 2021-02-15
      • 2018-07-01
      • 2019-02-05
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多