【发布时间】:2013-11-14 19:19:18
【问题描述】:
我正在使用以下工作流程将数据从外部来源附加到现有 BigQuery 表:
- 查询表以获取最新记录:(从 test.table 中选择 max(lastModifiedData))。将此数据另存为“lastMigrationTime”;
- 在外部源中查询自“lastMigrationTime”之后更改的记录的 ID
- 在大查询表中查询除更新记录之外的所有记录:将结果保存到 test.tempTable。
- 将 tempTable 移动到 table(使用删除表,将 tempTable 复制到表,删除 tempTable)。
- 查询外部源以获取更新的记录并将它们加载到 test.table
我面临的问题是表的原始架构包含嵌套元素。我运行的任何查询都会展平架构,迫使我也展平原始架构。我看到的另一个副作用是列名变成了小写。
有什么办法可以保持原来的schema(主要是嵌套,但也保持case就好了)?
【问题讨论】:
标签: google-bigquery