【问题标题】:Reading Mapr files using TextIO使用 TextIO 读取 Mapr 文件
【发布时间】:2017-11-06 03:46:22
【问题描述】:

我可以使用 TextIO.Read 读取 Mapr 文件,并将文件放在 hadoop 文件夹中,并能够在 hadoop 文件夹中写入文件。但我不确定是否需要使用 org.apache.beam.sdk.io.hdfs,因为 Mapr 文件是基于 HDFS 的。

谢谢。

【问题讨论】:

  • 不太明白您的要求。您是说您能够使用标准 TextIO 读写文件 - 您是在问这是否是与 Beam 中的 HDFS 交互的最佳方式,还是需要明确使用 io.hdfs 中的某些内容?如果这是您的问题,答案是肯定的:所有基于 Beam 文件的 IO 都透明地与各种受支持的文件系统交互,这是 Beam 与它们交互的推荐方式。
  • 谢谢 jkff,这就是我想要的。所以 TextIO 也兼容 MaprFS 文件。
  • 谢谢,我已将评论转换为答案。

标签: apache-beam


【解决方案1】:

所有基于 Beam 文件的 IO 都透明地与各种受支持的文件系统交互,这是从 Beam 与它们交互的推荐方式。无需显式使用 io.hdfs 包中的类。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2015-08-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多