使用自动检测的动态 BigQuery 架构：错误架构没有字段

Question

我试图弄乱 Bigquery 中的自动检测功能，目前我在更新我的表上的架构时遇到了问题。

目前我做了什么。

1. 我在 Bigquery 中手动创建了数据集和表名。
2. 执行我的第一个 bq 加载命令（运行良好）：

bq --location=${LOCATION} load --autodetect --source_format=${FORMAT} ${DATASET}.${TABLE} ${PATH_TO_SOURCE}.

1. 我尝试附加一个引入了新字段的新 JSON 对象，以更新当前架构。
2. 执行第二个 bq 加载命令：

bq --location=${LOCATION} load --autodetect --schema_update_option=ALLOW_FIELD_ADDITION --source_format=${FORMAT} ${DATASET}.${TABLE} ${PATH_TO_SOURCE}

5. 引发错误：

   查询字符串错误。 错误处理作业。 Schema 没有字段。

我认为当启用--autodetect 标志时，bq load 命令不会在您的加载作业中请求模式。有人遇到过这个问题吗？

第一个对象：

  {
    "chatSessionId": "123",
    "chatRequestId": "1234",
    "senderType": "CUSTOMER",
    "senderFriendlyName": "Player"
  }

第二个对象：

{
    "chatSessionId": "456",
    "chatRequestId": "5678",
    "senderType": "CUSTOMER",
    "senderFriendlyName": "Player",
    "languageCode": "EN"
  }

Answer 1

我重现了您的步骤，但无法重现您在下图中看到的相同错误：


加载第一个 JSON



第一张表的数据



加载第二个 JSON



秒表数据

我在你的数据中唯一改变的是格式：你提供了一个JSON，我把它变成了一个NEWLINE DELIMITED JSON（BigQuery 期望的 JSON 类型）。 你可以找到更多关于它的信息here。 如果它为您澄清了什么，请告诉我。

希望对你有帮助。