批处理任务可以读取文件共享上的文件吗？

Question

我与（您猜对了）很多文件共享文件。我想创建一个批处理作业，该作业会装载此文件共享和每个文件中的读取，并并行处理每个文件（每个都作为批处理任务）。

这可能与 python 和 azure 批处理有关吗？任何展示如何做到这一点的教程都会很棒。

Answer 1

您可以通过以下两种方式之一执行此操作。请注意，以下仅适用于 Linux。 Windows 用户将需要使用 User Identities 遵循稍微不同的方法。

1. 使用池的StartTask 对象在计算节点级别装载文件共享。请参阅Azure File documentation，了解如何在 Linux 上为您的发行版执行此操作。启动任务可以：
   • 直接挂载文件共享，即调用mount -t cifs ...。这将通过重新启动来工作，因为每次重新启动时都会重新运行 StartTask。
   • 修改/etc/fstab 以添加条目到自动挂载。请注意，您必须使此操作具有幂等性，因为 StartTask 每次重新启动时都会重新运行。
2. 使用作业的JobPreparationTask 对象在作业级别装载文件共享。您在此处指定的命令只会对作业下的每个任务运行一次。您可能还应该将作业的JobReleaseTask 指定为unmount 共享以进行清理。

确保在您选择的任何路径中，为任务（通常是超级用户）提供适当的提升权限，以便进程可以执行挂载或修改/etc/fstab。

如果您使用第一个选项，则无论是否在该节点上运行需要它的作业，安装都将始终可供计算节点使用。每种方法都有优点和缺点。您的要求，无论是合规性，还是技术（例如），都应该可以帮助您做出选择。