使用 Apache Beam 将结果列添加到现有 BigQuery 表

Question

我想添加作为 BigQuery 中两个现有列的结果的列。我正在使用 Apache Beam 从 BigQuery 中读取数据，然后对其进行处理并将结果更新到与新列相同的 BigQuery 表中。

Answer 1

Beam BigQuery 连接器不明确支持BigQuery DML，但是您可以编写一个管道将处理结果插入到单独的表中，并在管道运行后运行 DML 语句以使用该辅助表更新原始表中的列。

或者，如果您的处理逻辑可以用 SQL 表示，您最好将其实现为 SQL DML 语句而不使用管道。