【发布时间】:2020-09-30 21:16:40
【问题描述】:
我很难使用舞台,因为其中一个 json 文件有语法问题。
有人知道是否可以创建一个带有regex 文件名过滤器的阶段?
一旦创建了舞台,我就成功了:
list @my_stage pattern = 'mypattern'
但我似乎无法将这个约束直接整合到舞台的创建中......
【问题讨论】:
标签: json filter snowflake-cloud-data-platform stage
我很难使用舞台,因为其中一个 json 文件有语法问题。
有人知道是否可以创建一个带有regex 文件名过滤器的阶段?
一旦创建了舞台,我就成功了:
list @my_stage pattern = 'mypattern'
但我似乎无法将这个约束直接整合到舞台的创建中......
【问题讨论】:
标签: json filter snowflake-cloud-data-platform stage
创建阶段时无法指定模式,但在阶段上执行的操作可以应用模式,这有助于忽略已知的坏文件。
可以在listing a stage、querying a stage directly 和执行COPY INTO <TABLE> FROM <STAGE> commands 时应用舞台文件上的模式。
COPY INTO <TABLE> 选项还允许传递 ON_ERROR='CONTINUE' option 以自动忽略正在加载的任何文件中的不可读行。
【讨论】: