Azure 自动化 Powershell - 如何从 URL 下载 Zip 文件夹并发布到 Azure blob答案

【问题标题】：Azure Automation Power Shell- How to download Zip folder from URL and post to Azure blobAzure 自动化 Powershell - 如何从 URL 下载 Zip 文件夹并发布到 Azure blob
【发布时间】：2020-03-24 06:14:57
【问题描述】：

我正在尝试从 url (https://data.police.uk/data/archive/2019-10.zip) 下载 zip 数据并放入存储帐户 (blob)。

PS 需要在 Azure 自动化帐户中运行。

当使用下面的时候，我得到一个异常

磁盘空间不足

$url = "https://data.police.uk/data/archive/2019-10.zip"
$output = "\policedata.zip"

$wc = New-Object System.Net.WebClient
$download = $wc.DownloadFile($url, $output)

有没有办法将 zip 文件移动到 Azure 存储 blob，首先在本地下载它，或者从中提取 CSV？

【问题讨论】：

标签： azure-powershell azure-automation

【解决方案1】：

鉴于您下载的文件为 1.6 GB，Azure 自动化不是正确的解决方案。问题是 limits Azure 自动化有：

每个沙盒允许的最大磁盘空间量：1 GB

为沙盒分配的最大内存量：400 MB

您既不能在上传之前下载文件，也不能将其保存在内存中，然后将其通过管道传输到存储帐户。

您可以尝试设置两种流式传输，其中一个流下载文件，另一个流上传文件。但这对于您正在尝试做的事情来说太过分了。我建议使用 vanilla 容器或 VM 来自动执行此操作。

【讨论】：