在 EMR 中持久化、挂载和共享卷答案

【问题标题】：Persisting, mounting and sharing volumes in EMR在 EMR 中持久化、挂载和共享卷
【发布时间】：2018-09-08 18:12:02
【问题描述】：

AWS 是否提供任何满足以下条件的存储解决方案？

在我看来，类似NFS 的卷应该满足这三个方面的要求，但我不知道是否可以这样使用 EBS、EFS 和/或 EMRFS。至少我正在寻找能够满足我（1）和（2）的东西

背景：EBS

在上述问题的背景下，我查看了 EBS，但我发现 conflicting information 关于这个主题。

EMR 文档说 EBS 卷在 EMR 中是短暂的：

Amazon EBS 在 Amazon EMR 中的工作方式与在常规 Amazon EC2 实例中的工作方式不同。附加到 EMR 集群的 Amazon EBS 卷是短暂的：这些卷会在集群和实例终止时（例如，在缩小实例组时）被删除，因此您不要期望数据会持续存在，这一点很重要
同时，我在 EBS 中看到一个名为 "Delete on termination" 的选项可以设置为 False，请参见下面的屏幕截图。

【问题讨论】：

【解决方案1】：

EFS 是您正在寻找的服务。您可以将其挂载在同一区域的多个可用区中运行的 EC2 节点上。

EC2 实例使用标准操作系统挂载命令通过 NFSv4 协议挂载 Amazon EFS 文件系统。

您还可以通过引导脚本在 EMR 的每个节点上挂载 EFS。

它将满足您的所有三个条件。

【讨论】：