针对 S3 的 oozie fs 操作未更新 S3 存储的清单（DynamoDB 元存储 - emrfs 不同步）中的密钥答案

【问题标题】：oozie fs action against S3 not updating keys in MANIFESTS (DynamoDB metastore - emrfs not in sync) for S3 storage针对 S3 的 oozie fs 操作未更新 S3 存储的清单（DynamoDB 元存储 - emrfs 不同步）中的密钥
【发布时间】：2018-09-03 10:10:53
【问题描述】：

从理论上讲，关于使用 HDFS CLI 运行 hdfs 命令，

hdfs dfs -touchz s3://bucketname/folder/file

它通过 EMRFS 并在创建 S3 条目时更新 dynamodb 中 MANIFESTS 中的键。

emrfs diff - 在 S3 和 MANIFESTS (Dynamodb) 中都说。到目前为止一切顺利。

当我尝试对 s3 文件运行以下 oozie fs 操作时，我注意到该操作并未通过 EMRFS 发生，因为我在 MANIFESTS (dynamodb) 中看不到键。

emrfs diff - 表示 S3 中的文件，但不在 MANIFESTS (Dynamodb) 中。

<action name="fs_action">
    <fs>
    <name-node>${nameNode}</name-node>
        <touchz path='folder/file'/>
    </fs>
</action>

只是想知道 oozie fs 操作是否在屏幕后面使用 emrfs，因为它是从 oozie 服务器本身运行的。只是想了解 oozie fs 针对 s3 的屏幕背后发生了什么？

提前致谢。

【问题讨论】：

标签： hadoop amazon-s3 oozie amazon-emr oozie-workflow

【解决方案1】：

Oozie 是不使用 EMRFS 与 S3 交互的 Hadoop 应用程序之一。

EMR 上有一些应用程序（例如 Presto 和 Oozie）可以不使用 EMRFS 与 S3 交互

EMRFS

【讨论】：