在 oozie spark action 中获取 spark 变量

Question

我是 spark 和 oozie 技术的新手。 我试图从 spark 中获取一些变量并在下一个 oozie 动作中使用它。

在“Decision”节点中将调用 spark submit 并完成一些处理并生成一个计数器变量

例如：var counter = 8 from spark

所以现在我需要在下一个 oozie 动作中使用这个变量，即“做出决定” 节点。

take decision
 [Decision ][counter]

当我用谷歌搜索时，我能够找到一些解决方案

1. Write to hdfs
2. Wrap spark submit in shell and use <capture-output> 
(I am not able to use this as I use oozie spark action node)

还有其他方法可以做到这一点吗？

Answer 1

最好的方法是将值存储在 HDFS (Hive) 或 HBase/Cassandra 中，然后您的决策操作读取这些值。

如果您使用 shell 操作包装 spark-submit，如果您在集群模式下提交作业会出现问题，因为 spark-submit 作业到 yarn 集群并运行您无法获得输出的任何节点。