使用 Apache Falcon 设置跨集群的数据复制

Question

我们一直在为我们的数据摄取工作流程进行 PoC 训练。我们需要使用 falcon 在两个集群之间设置复制（馈送复制，而不是镜像）。我遇到的问题是集群 A 上的用户 ID 与集群 B 中的 ID 不同。有人在这个设置中使用过 falcon 吗？我似乎无法找到一种方法来让它工作。

1) 我正在从集群 A => 集群 B 设置复制 2) 我正在定义集群 A 上的猎鹰作业

在作业设置时，我似乎只能定义一个拥有该作业的用户 ID。如何设置集群 A 上的 ID 与集群 B 中的 ID 不同的作业？任何帮助都会很棒！

Answer 1

Apache Falcon 使用“ACL 所有者”，它应该具有写入权限作为要复制数据的目标集群。

源集群应启用 webhdfs，通过它访问数据。

因此，如果用户没有保留所需的写入权限，则不要在源集群上安排提要。

希望这会有所帮助。