【发布时间】:2019-11-30 19:05:09
【问题描述】:
我正在使用 azure datafactory 将逗号分隔的分区数据文件处理到 ADLS。
要求是将逗号分隔的文件复制为 SNAPPY 压缩的 ORC 格式。
是否可以使用 ADF 实现这一目标?如果是,那你能帮帮我吗?
【问题讨论】:
-
ADF 复制活动确实支持 ORC。 docs.microsoft.com/en-us/azure/data-factory/… 不过写的时候不支持SNAPPY,只支持ZLIB。如果这对您不起作用,您可以编写一个非常简单的 Databricks 作业并从 ADF 调用它
标签: azure azure-data-factory-2 orc snappy