BigQuery：如何将字段添加到 REPEATED 记录？

Question

我在 Google BigQuery 中有一个表，其中包含几个字段，然后是一个 REPEATED 记录，其中可能包含一个或多个对象。我想在 REPEATED 数据中创建一个带有额外字段的新表，并将我的原始数据复制到新表中，用 GENERATE_UUID() 的输出填充新字段，以便每个 REPEATED 数据行有一个唯一标识符。

我在How do I copy from one BigQuery Table to another when the target contains REPEATED fields? 有一个类似的问题，但我不知道如何调整它以适应我当前的用例。

这是我的“新”架构 1（即上述链接中的架构 2）

[
    {"name": "id", "type": "NUMERIC", "mode": "REQUIRED"},
    {"name": "name", "type": "STRING", "mode": "REQUIRED"},
    {"name": "created", "type": "TIMESTAMP", "mode": "REQUIRED"},
    {"name": "valid", "type": "BOOLEAN", "mode": "REQUIRED"},
    {"name": "parameters", "type": "RECORD", "mode": "REPEATED", "fields":
        [
            {"name": "parameter1", "type": "STRING", "mode": "REQUIRED"},
            {"name": "parameter2", "type": "FLOAT", "mode": "REQUIRED"},
            {"name": "parameter3", "type": "BOOLEAN", "mode": "REQUIRED"}
        ]
    }
]

我希望它以这样的方式结束，架构 2：

[
    {"name": "id", "type": "NUMERIC", "mode": "REQUIRED"},
    {"name": "name", "type": "STRING", "mode": "REQUIRED"},
    {"name": "created", "type": "TIMESTAMP", "mode": "REQUIRED"},
    {"name": "valid", "type": "BOOLEAN", "mode": "REQUIRED"},
    {"name": "parameters", "type": "RECORD", "mode": "REPEATED", "fields":
        [
            {"name": "uuid", "type": "STRING", "mode": "REQUIRED"},
            {"name": "parameter1", "type": "STRING", "mode": "REQUIRED"},
            {"name": "parameter2", "type": "FLOAT", "mode": "REQUIRED"},
            {"name": "parameter3", "type": "BOOLEAN", "mode": "REQUIRED"}
        ]
    }
]

所以我已经用这个模式创建了我的新表（表 2）。我想从表 1 中复制，我正在尝试这样的事情：

insert into table2_with_uuid(id, name, created, valid, parameters)
select id, name, created, valid,
[(
GENERATE_UUID(), parameters.parameter1, parameters.parameter2, parameters.parameter3
)]
from table1_no_guid;

这给了我一个错误说： Cannot access field ceId on a value with type ARRAY<STRUCT<parameter1（等）

有人对如何进行有任何建议吗？谢谢！

Answer 1

我已按照官方文档中Data Manipulation Language syntax 中的程序进行操作。

那么，基本上你想要的就是update repeated records。我遵循了所有示例，从插入到更新，直到将第二条评论添加到重复记录的那一刻。

然后我应用了 UNNEST 查询：

insert into `testing.followingDMLmod`  (product, quantity, supply_constrained, comments)
select product, quantity, supply_constrained,
[(
GENERATE_UUID(), com.created, com.comment
)]
from `testing.followingDML` , UNNEST(comments) com;

这当然有效，但不能提供所需的结果。

根据official documentation，“BigQuery 本身支持多种架构更改，例如向记录添加新的嵌套字段或放宽嵌套字段的模式。”然后，也许路径是复制表，然后添加额外的字段。

这可以通过管理表模式documentation 来完成。也就是说，要么使用 API 并调用 tables.patch，这在 this 其他堆栈溢出帖子中进行了更详细的讨论，要么使用带有命令行模式的 JSON 文件。

我个人遵循了第二种方法（JSON 模式文件）并且对我来说非常有效。更详细地说，我遵循的步骤是（在here 中找到）：

• 使用 BigQuery UI 中的复制表来获取不带“id”的表的副本。我的起始表是followDML，副本是followDMLmod。

• 通过在 Cloud Shell 中运行以下命令，将表中的架构复制到 JSON 文件（此处称为 myschema.json）中

bq show \
--schema \
--format=prettyjson \
testing.followingDMLmod > myschema.json

• 在文本编辑器中打开架构。例如运行

vim myschema.json

• 现在修改架构以将新的嵌套列添加到字段数组的末尾。 （如果您从未使用过 vim，一个非常简单的解释是“esc”将您返回到正常模式，而在正常模式下单击“i”允许您写入打开的文件，“:w”保存文件并“ :q" 退出文件） 我包含了“id”字段：

{
  "mode": "NULLABLE",
  "name": "id",
  "type": "STRING"
}

• 现在您需要通过运行更新架构

bq update testing.followingDMLmod myschema.json

最后，回到我使用查询的 BigQuery UI

UPDATE `testing.followingDMLmod` 
SET comments = ARRAY(
    SELECT AS STRUCT * REPLACE(GENERATE_UUID() AS id)
    FROM UNNEST(comments)
  )
WHERE true

在创建后填充 id 字段。遵循this 堆栈溢出帖子中的建议。现在最终的结果确实是预期的！

Answer 2

每个人都是正确的。而且不正确。 unnest 将原始数据替换为每个重复记录一行。试试这个查询：

insert into dummydata_withuuid (id, name, created, valid, parameters)
select id, name, created, valid,
[(
GENERATE_UUID(), parameters.parameter1, parameters.parameter2, parameters.parameter3
)]
from dummydata_nouuid;

在第一个 parameters.parameter1 上显示错误，“Cannot access field parameter1 on a value with type ARRAY> at [5:29]”

但是，删除insert into...并修改如下行，查询有效。

-- insert into dummydata_withuuid (id, name, created, valid, parameters)
select id, name, created, valid,
[(
GENERATE_UUID(), parameters
)]
from dummydata_nouuid;

我可以将结果另存为另一个表格，这对于获得我需要的答案还有很长的路要走。我需要在我的insert into... 行中修改某些内容以使查询有效吗？

Answer 3

在我发布之前，我已经设法找到了这个问题的答案 - 但我认为分享该方法对其他人很有用。这是有效的查询：

insert into table2_with_uuid(id, name, created, valid, parameters)
select id, name, created, valid,
[(
GENERATE_UUID(), params.parameter1, params.parameter2, params.parameter3
)]
from table1_no_guid, UNNEST(parameters) params;

希望这是有用的！请随时添加到我的结果或评论以继续对话。