【发布时间】：2017-06-12 09:00:22
【问题描述】：
是否可以在不使用 DirectPipelineRunner 的情况下在本地读取/写入数据？ 假设我在云上创建了一个数据流模板，我希望它读取一些本地数据。这可能吗？
谢谢..
【问题讨论】：
【发布时间】：2017-06-12 09:00:22
【问题描述】：
您需要先将输入文件暂存到Google Cloud Storage 并从那里读取。您的代码将如下所示：
p.apply(TextIO.read().from(gs://bucket/folder)
其中 gs://bucket/folder 是您在 GCS 中的文件夹路径，并假设您使用的是最新的 Beam 版本 (2.0.0)。之后，您可以将 GCS 的输出下载到本地计算机。
【讨论】：
-
是的，我知道...所以基本上你是说这不可能按照我想要的方式...好吧...谢谢@Matthias Baetens
-
据我所知没有。您可以做的是使用Google Cloud Storage libraries 之一上传您的文件，使用REST API 执行您的Dataflow 模板作业，然后使用Object Change notifications 结合Cloud Functions 来监控您输出到的存储桶并下载文件从那里开始。