将数据插入 Bigquery 表的最佳方法答案

【问题标题】：Best way to insert data into a Bigquery table将数据插入 Bigquery 表的最佳方法
【发布时间】：2020-07-01 22:06:58
【问题描述】：

我想知道是否有任何首选方法可以将数据插入到 bigquery 表中？

我正在向 Cloud Composer DAG 末尾的 BQ 表插入新行。我使用了基于BigQueryOperator 的自定义运算符，如下所示：

INSERT INTO `<project>.<dataset>.<table> (col1,col2,col3)
VALUES
(ccc,ccc,ddd),
(...,...,...)

添加到表中的值最多可以是 500 行（...、...、...），但通常在 10-100 行左右。

是否有推荐/更好的方法来做到这一点？我不知道它是否值得通过 GCS，因为包含所有行的“文件”不会很大。

【问题讨论】：

【解决方案1】：

请注意，INSERT 有成本（插入的数据大小），而通过 GCS 加载作业是免费的。

传统上 INSERT 不是一个选择，但现在为了方便起见。

如果成本可以忽略不计，而这是最方便的选择 - 那就去吧。

【讨论】：