Hadoop 编译的版本与集群不同

Question

如果我使用旧的 hadoop lib 版本（如 0.20.0）开发我的 map-reduce 逻辑，然后创建一个 jar 文件并在集群版本高于 1.0.3 的集群上运行该 jar 文件，那么会发生什么?集群是否使用编译我的代码的相同版本的 hadoop，或者它是否忽略了我编译它的内容？您能解释一下这个过程在 hadoop 上的一般工作原理吗？

我知道它会运行，但我看到一些日志看起来像是使用了旧版本的 hadoop.common。 jar 文件也不包含 lib。

Answer 1

首先，您需要从胖 jar 中排除 hadoop-core 库，hadoop 提供了这一点。

我认为如果您使用的任何库的 API 已从一个版本更改为另一个版本，您会收到一个异常指示。

理论上，如果 API 没有改变，它应该可以工作，尽管这不能保证。最好在同一个版本上编译运行。