使用 Google Datalab，如何在 Google BigQuery 中使用 UDF 从复杂查询创建表？

Question

我见过很多类似的问题，但它们并非特定于 Google Cloud Datalab 并且同时使用 UDF，例如query execution shows Unknown TVS error 和 creating table from query result via python API。

我在不使用 UDF 时设法创建了表，但是当它使用时，它返回错误“Unknown TVF: myFunc”。

编辑 这是我正在使用的代码：

%%bigquery udf --module transform_field
...udf function...

然后我在sql查询中使用了上面的udf函数：

%%sql --module querymodule
...complex SELECT query FROM transform_field(table)...

然后我想使用该查询创建另一个表，如下所示：

%%bigquery execute --target project:dataset.tablename --query querymodule

但它一直显示此错误：

未知的 TVF：TRANSFORM_FIELD

Answer 1

好的，我找到了。事实证明，在%%bigquery execute 单元格中使用它之前，您需要通过 python 单元格传递查询：

bq_query = bq.Query(querymodule, udf=transform_field)

---

因此整个过程应该如下：

%%bigquery udf --module transform_field
...udf function...

然后我在sql查询中使用了上面的udf函数：

%%sql --module querymodule
...complex SELECT query FROM transform_field(table)...

然后使用上面的查询和udf函数创建一个bq.Query对象。

bq_query = bq.Query(querymodule, udf=transform_field)

然后在创建表时使用bq_query。

%%bigquery execute --target project:dataset.tablename --query bq_query

我一直对晚安的效果感到惊讶。