【问题标题】:SnowFlake and S3 MetaDataSnowFlake 和 S3 元数据
【发布时间】:2021-06-29 11:33:22
【问题描述】:

我的 s3 文件有自定义元数据属性,例如:

  • x-amz-meta-custom1:“测试值”
  • x-amz-meta-custom2:“哇哦”

当这些文件加载​​到 SnowFLake 中时,我如何访问与这些文件关联的自定义属性。 Google 和 SnowFlake 文档尚未发现任何珍品。

【问题讨论】:

  • 嗨 - 你能澄清一下“加载到雪花中”的意思吗?你的意思是已经在 S3 中的文件上创建了一个阶段,还是你的意思是数据已经从 S3 加载到雪花表中?
  • 这些是 S3 元数据标签。 Snowflake 正在摄取存储桶中包含的数据,但不消耗存储桶本身的元信息。你是如何将文件加载到雪花中的?

标签: amazon-s3 metadata snowflake-cloud-data-platform


【解决方案1】:

根据文档,我认为您可以通过舞台访问的唯一元数据是文件名和行号。 https://docs.snowflake.com/en/user-guide/querying-metadata.html 您可能会编写一些自定义的东西来获取 S3 元数据并将 s3 文件名与元数据一起写出,然后将其重新摄取到另一个雪花表中。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2017-07-07
    • 2021-08-15
    • 2020-05-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-12-10
    相关资源
    最近更新 更多