【发布时间】:2017-11-06 03:46:22
【问题描述】:
我可以使用 TextIO.Read 读取 Mapr 文件,并将文件放在 hadoop 文件夹中,并能够在 hadoop 文件夹中写入文件。但我不确定是否需要使用 org.apache.beam.sdk.io.hdfs,因为 Mapr 文件是基于 HDFS 的。
谢谢。
【问题讨论】:
-
不太明白您的要求。您是说您能够使用标准 TextIO 读写文件 - 您是在问这是否是与 Beam 中的 HDFS 交互的最佳方式,还是需要明确使用 io.hdfs 中的某些内容?如果这是您的问题,答案是肯定的:所有基于 Beam 文件的 IO 都透明地与各种受支持的文件系统交互,这是 Beam 与它们交互的推荐方式。
-
谢谢 jkff,这就是我想要的。所以 TextIO 也兼容 MaprFS 文件。
-
谢谢,我已将评论转换为答案。
标签: apache-beam