跳过标题行 - Cloud DataFlow 可以吗？

Question

我创建了一个管道，它从 GCS 中的文件读取、转换它，最后写入 BQ 表。该文件包含一个标题行（字段）。

有没有办法像在 BQ 中加载时那样以编程方式设置“要跳过的标题行数”？

Answer 1

目前这是不可能的。听起来这里有两个潜在的请求：

• 为 BigQuery 导入指定标题行的存在和跳过行为。
• 指定 GCS 文本源应跳过标题行。

https://issues.apache.org/jira/browse/BEAM-123 跟踪了这方面的未来工作。

同时，您可以在 ParDo 代码中添加一个简单的过滤器来跳过标题。像这样的：

PCollection<X> rows = ...;
PCollection<X> nonHeaders =
   rows.apply(Filter.by(new MatchIfNonHeader()));