将文本文件从网站直接下载到 Azure Data Lake Storage Gen1

Question

是否可以将大型文本文件从网站直接下载到 Azure Data Lake Storage Gen1；如果是，我需要遵循哪些步骤？我在桌面上没有足够的存储空间并且传输数据非常慢。

Answer 1

实际上，我们无法将大型文本文件从网站直接下载到 Azure Data Lake Storage Gen1。

您可以使用数据工厂来帮助您实现这一目标。参考以下教程：

1. Copy data from an HTTP endpoint by using Azure Data Factory：本文概述了如何使用 Azure 数据工厂中的复制活动从 HTTP 终结点复制数据。 HTTP 连接器是通用的，用于从任何 HTTP 端点检索数据，例如下载文件。
2. Load data into Azure Data Lake Storage Gen1 by using Azure Data Factory：本文介绍如何使用数据工厂复制数据工具将数据从 Amazon S3 加载到 Data Lake Storage Gen1。您可以按照类似的步骤从其他类型的数据存储中复制数据。
3. Copy data to or from Azure Data Lake Storage Gen1 using Azure Data Factory：本文概述了如何在 Azure Data Lake Storage Gen1 中复制数据。

使用 HTTP 连接器作为源，使用 Azure Data Lake Storage Gen1 作为接收器。

希望这会有所帮助。