【问题标题】:Job Executor : job manager or taskmanagerJob Executor:作业管理器或任务管理器
【发布时间】:2021-09-07 17:17:17
【问题描述】:

public static void main(String[] args) 抛出异常 {

final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); env.setRuntimeMode(RuntimeExecutionMode.BATCH);

    ParameterTool parameters = ParameterTool.fromArgs(args);
    String ftpUri = "ftp://data-injest:12345@ftp-server:21/input/" + parameters.get("input-file-name");
    String fileUri = parameters.get("ftp").toUpperCase(Locale.ROOT).equals("TRUE")?ftpUri:localUri;
    MapFunction<String,Tuple2<Long,Collection<Some>>> mapFunction = { some code };

    SomeSink sink = new SomeSink();

    env.readTextFile(fileUri,"UTF-8")
            .map(mapFunction)
            .keyBy(tuple2 -> tuple2.f0)
            .reduce((tuple2, t1) -> {
                some-logic-including-loggers
        }).addSink(sink);
    env.execute("OPIS-PRICE-FEED-with-" + parameters.get("input-file-name"));

}

哪个节点执行逻辑,例如上面的ftpUri定义。

  1. 我尝试使用断点将调试器附加到作业管理器和任务管理器,但我没有看到启用这些行。
  2. 如果在同一节中添加 logger 语句,则哪个节点 logger 将包含它。

【问题讨论】:

    标签: apache-flink flink-streaming


    【解决方案1】:

    该设置代码在客户端中执行,而不是在作业管理器或任务管理器中。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多