【发布时间】：2016-03-07 20:15:45
【问题描述】：
我已阅读this 并得出结论，EMRFS 仅在我使用AWS EMR 机器时可用。
我之所以这么问是因为我对EMRFS 对s3 的读后写一致性感兴趣。
【问题讨论】：
标签： amazon-s3 amazon-ec2 emr
【发布时间】：2016-03-07 20:15:45
【问题描述】：
我只想对这个问题提出新的意见：社区正在进行一项努力，在 Hadoop 中提供一致的 S3 模型：S3Guard: Improved Consistency for S3A。
如描述所述：
本期提出 S3Guard，S3A 的一项新功能，以提供比当前提供的更强大的一致性模型的选项。该解决方案与强一致的外部存储协调，以解决由 S3 最终一致性模型引起的不一致。
更多信息请参考design doc。
这将成为下一个版本中 Hadoop 发行版的一部分，可能是 Hadoop 3.0。
更新：Steve 请将其反向移植到 Hadoop 2.9。
【讨论】：
这需要更多的手动配置，但您可以通过使用现有的开源 NativeS3FileSystem 和 Netflix's s3mper 来获得与 EMRFS + EMR 的一致视图类似的设置，它使用与 EMRFS 相同的 DynamoDB 支持的配置。
【讨论】：
如果您只是在寻找写后读一致性，那么您可以将 S3 原样（所有区域都支持读后写一致性）与 EMR 一起使用。问题在于 US-Standard 存储桶只需在 EMR 中设置 fs.s3n.endpoint=s3-external-1.amazonaws.com 并在所有非 EMR 应用程序上使用相同的端点。
【讨论】：