Hadoop 2.0 JAR 文件

Question

尝试在我的 Map/Reduce 程序中实例化 Configuration 对象时遇到意外错误。

错误如下：

java.lang.NoClassDefFoundError: org/apache/commons/logging/LogFactory

我正在使用 Hadoop 2.2.0。该程序在早期版本的 Hadoop 上运行良好。但是，现在我需要为版本 2 编写此作业提交者，这似乎不起作用。

附带说明，我找不到此版本所需的所有 JAR 文件。我已阅读以下类似问题的解决方案：Where are hadoop jar files in hadoop 2?。但是，这对我不起作用。它因上述运行时错误而失败。

我尝试使用较旧的 JAR 文件来解决这些问题，但新的错误不断出现。

有没有人能解决这个问题？我正在使用 NetBeans，如果这有什么不同的话。

Answer 1

在下面列出的文件夹中包含 JAR 对我有用： 分享\hadoop\common
共享\hadoop\common\lib
共享\hadoop\mapreduce
共享\hadoop\mapreduce\lib 分享\hadoop\yarn
共享\hadoop\yarn\lib

Answer 2

我通过从commons.apache directory 和 Maven 存储库下载 JAR 文件解决了这个问题。每次我向项目中添加新的 JAR 时，应用程序都会因不同的错误（未找到不同的类）而崩溃，直到我从 Maven 存储库中下载了所有 JAR 文件。从在线存储库中下载了大量的 JAR 文件后，大多数 JAR 相关问题似乎都得到了解决。

Answer 3

你可以尝试右键项目，->构建路径->配置构建路径

转到您的 src 文件夹，指向“Native Library”，然后将位置编辑为您的 hadoop 本机库文件夹的位置（通常为：~/hadoop-x.x.x/lib/native/"folder-depending-on-your -系统”）