在EC2上运行大数据集，担心存储

Question

我正在通过 EC2 运行一些序列分析。我希望我的输出文件超过 2 Tb。在我运行我的命令之前，我想确保我有足够的空间。我将我的实例类型更改为一种用于数据处理 d2.4xlarge。

我的问题：如果我正在运行我的命令，并且输出文件超过了xvda的存储容量，它会自动切换到xvdf吗？？

希望这些信息对您有所帮助：

lsblk
NAME    MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
loop0     7:0    0   18M  1 loop /snap/amazon-ssm-agent/
loop1     7:1    0 93.9M  1 loop /snap/core/9066
loop2     7:2    0   91M  1 loop /snap/core/6350
loop3     7:3    0   18M  1 loop /snap/amazon-ssm-agent/
xvda    202:0    0  4.9T  0 disk 
└─xvda1 202:1    0    2T  0 part /
xvdf    202:80   0  1.8T  0 disk 
xvdg    202:96   0  1.8T  0 disk 
xvdh    202:112  0  1.8T  0 disk 
xvdi    202:128  0  1.8T  0 disk 
xvdj    202:144  0  1.8T  0 disk 
xvdk    202:160  0  1.8T  0 disk 
xvdl    202:176  0  1.8T  0 disk 
xvdm    202:192  0  1.8T  0 disk 

您会看到 xvda1 与 xvda 不匹配，这是因为 EBS 的最大存储空间为 2tb（我需要更改其卷大小）

df
Filesystem      1K-blocks     Used  Available Use% Mounted on
udev             62832116        0   62832116   0% /dev
tmpfs            12570936      824   12570112   1% /run
/dev/xvda1     2081729452 45739112 2035973956   3% /
tmpfs            62854676        0   62854676   0% /dev/shm
tmpfs                5120        0       5120   0% /run/lock
tmpfs            62854676        0   62854676   0% /sys/fs/cgroup
/dev/loop0          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop1          96256    96256          0 100% /snap/core/
/dev/loop3          18432    18432          0 100% /snap/amazon-ssm-agent/
/dev/loop2          93184    93184          0 100% /snap/core/
tmpfs            12570932        0   12570932   0% /run/user/

谢谢！！！！！！

Answer 1

"如果我正在运行我的命令，并且输出文件超出了存储空间 xvda的容量，会不会自动切换到xvdf"

没有。您需要挂载xvdf（您似乎还没有这样做），这将在您的文件系统中为其提供一个路径，然后您需要配置您的应用程序以在第一次切换到该挂载位置位置空间不足。

“这是因为 EBS 的最大存储空间为 2tb”

AWS EBS here 的官方功能列表指出最大卷大小为 16TB。

如果您需要文件系统中的单个卷超过 16TB，则可以考虑将 EBS 卷组合到 RAID 0 阵列中，如 here 所述。