【问题标题】:Download text file from website directly to Azure Data Lake Storage Gen1将文本文件从网站直接下载到 Azure Data Lake Storage Gen1
【发布时间】:2020-06-09 10:01:26
【问题描述】:

是否可以将大型文本文件从网站直接下载到 Azure Data Lake Storage Gen1;如果是,我需要遵循哪些步骤?我在桌面上没有足够的存储空间并且传输数据非常慢。

【问题讨论】:

  • 嗨,RAH,如果我的回答对您有帮助,您能否将其标记为答案?这对其他社区成员可能是有益的。谢谢。
  • 你好RAH,好久没听到你的消息了,希望你一切都好。您还有其他问题吗?

标签: download text-files azure-data-lake


【解决方案1】:

实际上,我们无法将大型文本文件从网站直接下载到 Azure Data Lake Storage Gen1。

您可以使用数据工厂来帮助您实现这一目标。参考以下教程:

  1. Copy data from an HTTP endpoint by using Azure Data Factory:本文概述了如何使用 Azure 数据工厂中的复制活动从 HTTP 终结点复制数据。 HTTP 连接器是通用的,用于从任何 HTTP 端点检索数据,例如下载文件。
  2. Load data into Azure Data Lake Storage Gen1 by using Azure Data Factory:本文介绍如何使用数据工厂复制数据工具将数据从 Amazon S3 加载到 Data Lake Storage Gen1。您可以按照类似的步骤从其他类型的数据存储中复制数据。
  3. Copy data to or from Azure Data Lake Storage Gen1 using Azure Data Factory:本文概述了如何在 Azure Data Lake Storage Gen1 中复制数据。

使用 HTTP 连接器作为源,使用 Azure Data Lake Storage Gen1 作为接收器。

希望这会有所帮助。

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2021-03-02
    • 1970-01-01
    • 1970-01-01
    • 2018-09-22
    • 1970-01-01
    相关资源
    最近更新 更多