从本地计算机读取文件并使用谷歌数据流写入 BigQuery 或谷歌存储

Question

有没有办法从本地计算机读取 csv 文件并使用谷歌数据流将其写入大查询或存储？如果存在，应该使用什么 runner？

所有谷歌数据流示例要么从云读取，要么写入云存储或大查询。

我使用 DirectPipelineRunner 从本地计算机读取并写入本地计算机。

Answer 1

DirectPipelineRunner 应该为此工作；您可以使用 TextIO 读取本地输入文件并使用 BigQueryIO 写入 BigQuery。