我在 AWS 上设置了一个高性能集群，类似于 blog post 中描述的集群。生成的集群有一个主节点，它启动一个计算节点。
考虑以下文件（另存为 test_slurm.sh）：
#!/bin/bash
#
#SBATCH --job-name=test
#SBATCH --output=res.txt
#
#SBATCH --ntasks=1
#SBATCH --time=10:00
ip a > file.txt
当我从主节点运行：sbatch test_slurm.sh 时，在同一目录中会弹出一个新的 file.txt，其 IP 信息与计算节点匹配。如果我 ssh 进入计算节点，该文件也在那里可用。
在我看来，计算节点执行 test_slurm.sh 的内容，将文件保存在其文件系统中，并以某种方式与主节点同步。什么机制负责文件同步？以这种方式同步的文件是否在传输过程中加密？
【问题讨论】：
标签： amazon-web-services hpc slurm
Slurm 将假定所有计算节点上都有一个通用的、共享的文件系统，并将其作为先决条件。通常，集群会有一个“家庭”文件系统，使用 NFS、GPFS、Lustre、GlusterFS、BeeGFS、AndrewFS 等技术，以及具有不同性能/可靠性权衡的其他文件系统。
但除了提交脚本之外，Slurm 不会在计算节点之间传输文件。
在您的情况下，这很可能是由您用来启动虚拟集群的过程设置的。实际上，在您参考的博客文章中，配置文件中有一行 fsx_settings = parallel-fs 似乎表明存在并行文件系统设置。如果在[fsx parallel-fs] 部分中进一步配置它。通过阅读 AWS 文档，它可能是一个 Lustre 文件系统。
至于加密，可能不是因为这种类型的文件系统是为专用网络上的性能而设计的，而不是为 WAN 上的安全性而设计的。 Amazon 程序很可能会为计算节点配置一个专用网络。
【讨论】：
我在亚马逊论坛上问过类似的问题：https://forums.aws.amazon.com/message.jspa?messageID=968147
如 damienfrancois 所述，“除了提交脚本之外，Slurm 不会在计算节点之间传输文件。” AWS 并行集群使用 NFS 作为同步机制设置默认文件共享。
NFS 无需额外配置即可设置。这意味着当前不支持传输中的加密。
【讨论】：