将 Azure Batch 任务输出持久化到 Azure 存储

Question

假设我有一堆类似的任务在 Azure Batch 虚拟机池中并行运行。这些任务连接到 SQL 数据库并使用 sqlcmd 为单个表提取数据。然后通过管道将表输出压缩到 7zip.exe。所以，命令行类似于（注意那些“”）

cmd /c sqlcmd -i.\table.sql -S 。 -E -s "," -I -h -1 -W| "c:\Program Files\7-Zip\7z.exe" a -tbzip2 -si "out.csv.bz2"

这里的问题是数据通常以 out.csv.bz2 文件的形式保存到每个 VM 的本地存储中。但是，在 Azure Batch 下，一旦任务完成，从池中分配的 VM 就会消失。所以，我需要一种机制来收集所有这些 out.csv.bz2 文件到 Azure 存储帐户（例如 Azure Blob 存储或 Data Lake 存储）。我似乎没有在 Azure Batch 中找到一种机制来重定向/持久化输出而不是本地 VM 存储直接到 Azure 存储以执行我的命令行任务。

有谁知道如何做到这一点？

Answer 1

如果您位于 VirtualMachineConfiguration 池中，则可以使用 OutputFile 上传到 Azure 存储 Blob。 CloudServiceConfiguration 池中尚不提供此功能。

有关 CloudServiceConfiguration 池，请参阅this related question。