【问题标题】:How can I decompress my .zip file and store in ADL/Blob storage?如何解压缩我的 .zip 文件并存储在 ADL/Blob 存储中?
【发布时间】:2019-08-29 12:42:57
【问题描述】:

我有一个 ftp 作为源连接,其中一些我有 zip 文件,而另一些不是压缩形式。我想从 ftp 复制文件,解压缩 zip 文件并将所有文件放入 azure data Lake 或 azure blob 存储中,只要可以解压缩。

我正在使用复制数据活动,其中我有一个源作为 ftp,属性是 zipDeflate、最快和二进制复制以及接收端,我只是定义目标 ADL 路径。这些文件被复制到 ADL,但它们仅以压缩形式复制。 请告诉我是否可以通过使用复制活动过程来实现上述目标?

【问题讨论】:

    标签: azure zip azure-data-factory azure-data-lake azure-data-factory-2


    【解决方案1】:

    在这里使用二进制副本是您的问题,数据工厂不会理解它正在移动的数据以解压缩它。在没有二进制副本的情况下尝试相同的设置!

    希望这有帮助!

    【讨论】:

    • 我已取消选中二进制选项,并开始了我的复制数据活动。我看到数据传输速率非常低,约为 3-4 Kb/s。读取 13 Mb 数据需要 1 小时。这是正常行为还是依赖于 IR?
    • 这主要取决于安装 IR 的硬件。检查网络 I/O、cpu、ram 使用情况等
    • 我尝试了不同的数据格式(二进制、csv、json),未选中递归选项,但仍将 zip 文件作为输出。我的 zip 文件中的文件是 csv。
    猜你喜欢
    • 2020-12-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-09-28
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2022-01-18
    相关资源
    最近更新 更多