dbt - stage_external_sources - 分区答案

【问题标题】：dbt - stage_external_sources - partitioningdbt - stage_external_sources - 分区
【发布时间】：2021-06-20 04:26:40
【问题描述】：

我正在尝试对 azure blob 存储上交付的增量文件进行很好的分区。

但是，我不能让分区列和表列发挥得很好。如果我删除分区列，我会指定所有表列。如果我有分区列，我只会得到变体列和分区列。

  - name: arsm
    external:
      location: '@my_azure_stage'
      file_format: 'myformat'
      pattern: '.*path.*tablename_.*'
      auto_refresh: false # depends on your Azure setup
      partitions:       # optional
        - name: LOAD_DATE
          data_type: date
          expression: TO_DATE(substring(metadata$filename,16,10))
      columns:
      - name: "AoNr" 
        data_type: bigint
      - name: "AoNrAlfa" 
        data_type: varchar(65)
      - name: "AoPos" 
        data_type: int
      - name: "ArtikelVariant" 
        data_type: varchar(30)
      - name: "ArtKalkBer" 
        data_type: NUMERIC

【问题讨论】：

您确认myformat 正确解析文件了吗？

标签： snowflake-cloud-data-platform dbt

【解决方案1】：

我认为您只需要将 columns 数组缩进两个空格即可。 columns数组应该是源表的顶级key，与name和external同级；现在你已经将它嵌套在 external 字典中。

【讨论】：