【问题标题】:create table from query while keep original schema从查询创建表,同时保留原始模式
【发布时间】:2013-11-14 19:19:18
【问题描述】:

我正在使用以下工作流程将数据从外部来源附加到现有 BigQuery 表:

  1. 查询表以获取最新记录:(从 test.table 中选择 max(lastModifiedData))。将此数据另存为“lastMigrationTime”;
  2. 在外部源中查询自“lastMigrationTime”之后更改的记录的 ID
  3. 在大查询表中查询除更新记录之外的所有记录:将结果保存到 test.tempTable
  4. tempTable 移动到 table(使用删除表,将 tempTable 复制到表,删除 tempTable)。
  5. 查询外部源以获取更新的记录并将它们加载到 test.table

我面临的问题是表的原始架构包含嵌套元素。我运行的任何查询都会展平架构,迫使我也展平原始架构。我看到的另一个副作用是列名变成了小写。

有什么办法可以保持原来的schema(主要是嵌套,但也保持case就好了)?

【问题讨论】:

    标签: google-bigquery


    【解决方案1】:

    列名大小写问题是一个已知错误,应该在我们的下一个版本中修复(希望在接下来的几天内)。

    保留列嵌套是一项高优先级的功能请求。我们对支持这一点非常感兴趣,但很遗憾,我没有任何时间框架来确定何时完成。

    【讨论】:

    • 此列名大小写问题是否已修复。当我复制一个表并且新表模式被展平时,我仍然可以看到。当我尝试追加数据时,它表明架构不匹配。我尝试对新表进行手动模式更新,但它也没有得到更新..
    猜你喜欢
    • 2016-06-16
    • 1970-01-01
    • 2017-06-18
    • 2018-02-07
    • 1970-01-01
    • 2016-08-29
    • 2010-09-18
    • 2013-06-08
    • 1970-01-01
    相关资源
    最近更新 更多