【问题标题】:Resource changed on src filesystem in Azure FlinkAzure Flink 中 src 文件系统上的资源已更改
【发布时间】:2018-10-27 02:09:06
【问题描述】:

在 Azure HDInsights 集群上设置 flink 时出现异常。

./bin/yarn-session.sh -n 4 -jm 1024m -tm 4096m

投掷:

org.apache.flink.client.deployment.ClusterDeploymentException: 
Couldn't deploy Yarn session cluster

Caused by: 

Failing this attempt.Diagnostics: 
[2018-10-24 00:41:17.703]Resource wasb://../.flink/application_1539730571763_0057/
application_1539730571763_0057-flink-conf.yaml8158650202504017094.tmp 
changed on src filesystem (expected 1540341676000, was 1540341677000

java.io.IOException: 
    at org.apache.hadoop.yarn.util.FSDownload.verifyAndCopy(FSDownload.java:273)

这似乎是因为 wasb blob 存储没有保留复制文件的原始时间戳,从而破坏了 wasb 之上的 HDFS API 抽象。 有什么解决方法吗?

我能找到的唯一其他线程是Oozie/yarn: resource changed on src filesystem

【问题讨论】:

    标签: azure apache-flink


    【解决方案1】:

    我们与 MS Azure 支持合作,他们确认它仅适用于 Flink 1.4.x 而不是 1.5.x 或 1.6.x。

    我们将其降级为 1.4.x,现在它在 Azure 集群中运行良好。

    【讨论】:

      猜你喜欢
      • 2018-07-08
      • 2020-02-06
      • 2019-08-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-10-20
      相关资源
      最近更新 更多