【发布时间】:2014-02-17 13:51:55
【问题描述】:
也许我弄错了:有没有办法为 tabledata.insertAll 命令自动创建目标表?如果是,请指出我正确的方向。
如果不是 - 创建所需表的最佳方法是什么?在启动时检查现有表并通过从 GCS 加载创建不存在的表?还是可以直接从代码创建而不需要加载作业?
我定义了许多事件类(Python 云端点),完美的解决方案是使用这些定义来创建匹配的 BQ 表。
【问题讨论】:
也许我弄错了:有没有办法为 tabledata.insertAll 命令自动创建目标表?如果是,请指出我正确的方向。
如果不是 - 创建所需表的最佳方法是什么?在启动时检查现有表并通过从 GCS 加载创建不存在的表?还是可以直接从代码创建而不需要加载作业?
我定义了许多事件类(Python 云端点),完美的解决方案是使用这些定义来创建匹配的 BQ 表。
【问题讨论】:
由于 BigQuery 不知道架构,因此无法在流式传输期间自动创建表。您发布的 JSON 数据没有类型信息——如果有一个字段“123”,我们不知道它是否始终是一个字符串,或者它是否实际上应该是一个整数。此外,如果您发布的数据缺少可选字段,则创建的架构会比您想要的更窄。
创建表的最佳方法是使用 tables.insert() 调用(无需运行加载作业来从 GCS 加载数据)。您可以准确地提供您想要的架构,并且一旦创建了表,您就可以将数据流式传输到它。
在某些情况下,客户会预先创建一个月的表格,因此他们只需每 30 天担心一次。在其他情况下,您可能需要在启动时检查表是否存在,如果不存在,请创建它。
【讨论】:
SELECT * from (SELECT 0 as foo, "" as bar) WHERE false,这将创建一个空结果但带有架构。