【问题标题】:why alluxio files keep a state of TO_BE_PERSISTED all the time为什么alluxio文件一直保持TO_BE_PERSISTED状态
【发布时间】:2017-11-28 11:40:15
【问题描述】:

我已经基于HDFS 集群部署了一个Alluxio 集群。当我使用Alluxio Native Java Api通过设置writetype ASYNC_THROUGH将一些文件写入Alluxio时,文件(即使只有1G)似乎没有写入HDFS,几天后一直保持TO_BE_PERSISTED状态。

【问题讨论】:

    标签: hadoop hdfs alluxio


    【解决方案1】:

    我找到了答案。我发现日志“错误 DefaultAsyncPersistHandler - 并非所有文件块 /test/sample_data/order_detail_titile_2.0.txt 都存储在同一个工作人员上”,当使用 ASYNC_THROUGH 时,Alluxio 请求一个工作人员中的所有文件阻止程序。我使用 CACHE_THROUGH 的地方没有问题

    【讨论】:

      猜你喜欢
      • 2011-07-05
      • 2016-12-15
      • 2013-07-02
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-09-15
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多