【问题标题】:How to convert CSV to ORC format using Azure Datafactory如何使用 Azure Datafactory 将 CSV 转换为 ORC 格式
【发布时间】:2019-11-30 19:05:09
【问题描述】:

我正在使用 azure datafactory 将逗号分隔的分区数据文件处理到 ADLS。

要求是将逗号分隔的文件复制为 SNAPPY 压缩的 ORC 格式。

是否可以使用 ADF 实现这一目标?如果是,那你能帮帮我吗?

【问题讨论】:

  • ADF 复制活动确实支持 ORC。 docs.microsoft.com/en-us/azure/data-factory/… 不过写的时候不支持SNAPPY,只支持ZLIB。如果这对您不起作用,您可以编写一个非常简单的 Databricks 作业并从 ADF 调用它

标签: azure azure-data-factory-2 orc snappy


【解决方案1】:

不幸的是,数据工厂可以读取 ZLIB 和 SNAPPY,但只能写入 ZLIB,这是 orc 文件格式的默认设置。

更多信息在这里:https://docs.microsoft.com/en-us/azure/data-factory/supported-file-formats-and-compression-codecs#orc-format

希望这有帮助!

【讨论】:

    猜你喜欢
    • 2019-07-01
    • 1970-01-01
    • 2016-07-25
    • 2019-06-26
    • 2017-09-26
    • 1970-01-01
    • 2016-07-24
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多