【问题标题】:Flink: How to pass extra JVM options to TaskManager and JobManagerFlink:如何将额外的 JVM 选项传递给 TaskManager 和 JobManager
【发布时间】:2017-10-27 14:22:06
【问题描述】:

我正在尝试使用以下命令在纱线上提交 flink 作业:

/usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -Denv.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"

我在 flink 客户端日志中获得了 env.java.opts,但是当应用程序提交到 Yarn 时,这些 Java 选项将不可用。由于没有额外的 JVM 选项,应用程序在连接 zookeeper 时抛出异常。

请建议,如何将动态属性传递给在纱线上运行的 JM 和 TM。

注意:我尝试将 env.java.opts 选项设置为 conf/flink-conf.yaml 并且工作正常。我需要一种方法来通过 flink run 命令设置这个选项。

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    我认为您应该将-Denv.java.opts 替换为-yD env.java.opts,以便您的命令变为:

    /usr/flink-1.3.2/bin/flink run -yd -yn 1 -ynm MyApp -ys 1 -yqu default -m yarn-cluster -c com.mycompany.Driver -j /usr/myapp.jar -yD env.java.opts="-Dzkconfig.parent /app-config_127.0.0.1 -Dzk.hosts localhost:2181 -Dsax.zookeeper.root /app"
    

    【讨论】:

      【解决方案2】:

      抱歉回复晚了,但我相信你是在 YARN 上的 start a long-running Flink session,那么你通过 -Dxxx=yyy 设置的参数将被转发到这在 YARN 中创建的 JM/TM。你试过这种方法吗?

      【讨论】:

        猜你喜欢
        • 1970-01-01
        • 2022-07-30
        • 2015-03-10
        • 1970-01-01
        • 2012-05-11
        • 2014-02-23
        • 1970-01-01
        • 2017-11-04
        • 1970-01-01
        相关资源
        最近更新 更多