Snowflake - 读取实现的架构

Question

我们正在考虑实施 Schema on Read 以将数据加载到雪花表中。我们在 AWS S3 路径中接收 .csv 文件，该路径将成为我们表的来源。但是这些提要文件的结构经常更改，我们不想在每次更改文件的架构时手动更改已创建的表。我们希望根据文件的架构更改方式自动化将文件加载到雪花表的整个过程，并且我们不希望每次向文件添加/删除新属性时都创建一个新表。如果有人可以帮助我们就如何更好地实现这一点提出建议，那将非常有帮助。

Answer 1

一种方法可能如下：

• 将数据加载到临时表中。可以使用空白标题（col1、col2 ... colX）或使用 CREATE TABLE AS SELECT $1, $2 ... $X from @stage. 随时创建此暂存表
• 创建一个动态查询，它将从临时表中获取标题，然后生成一个插入/合并查询以将数据加载到您的最终表中。这可以使用存储过程来完成。

Answer 2

Snowflake 支持使用标准 SQL 来查询位于内部（即 Snowflake）阶段或命名外部（Amazon S3、Google Cloud Storage 或 Microsoft Azure）阶段的数据文件。这对于检查/查看暂存文件的内容很有用，尤其是在加载数据之前或卸载数据之后。

此外，通过引用暂存文件中的[元数据列][1]，暂存数据查询可以返回有关文件的附加信息，例如文件名和行号。

Snowflake 利用对分段数据查询的支持来启用[在加载期间转换数据][2]。

更多详情：https://docs.snowflake.com/en/user-guide/querying-stage.html [1]：https://docs.snowflake.com/en/user-guide/querying-metadata.html [2]：https://docs.snowflake.com/en/user-guide/data-load-transform.html

Answer 3

有一个功能可以推断架构并创建表（目前处于预览状态）：

CREATE TABLE … USING TEMPLATE:

创建表…使用模板

使用从一组包含半结构化数据的暂存文件派生的列定义创建一个新表。此功能目前仅限于 Apache Parquet、Apache Avro 和 ORC 文件。

...

此示例基于 INFER_SCHEMA 主题中的示例：

CREATE TABLE mytable
  USING TEMPLATE (
    SELECT ARRAY_AGG(OBJECT_CONSTRUCT(*))
      FROM TABLE(
        INFER_SCHEMA(
          LOCATION=>'@mystage',
          FILE_FORMAT=>'my_parquet_format'
        )
      ));

INFER_SCHEMA:

自动检测一组包含半结构化数据的暂存数据文件中的文件元数据架构并检索列定义。使用列定义来简化登录表或外部表的创建以查询数据。

此功能目前仅限于 Apache Parquet、Apache Avro 和 ORC 文件。