运行 hadoop/mapReduce 时出现 ClassNotFoundException

Question

在我的 MapReduce 项目中，我使用 apache-commons CSVParser 逐行解析 CSV 文件并提取我感兴趣的字段。

我在Eclipse中使用Maven导入依赖，使用eclipse将项目导出为jar文件。jar文件包含所有依赖。我很好奇为什么hadoop仍然抛出以下异常：

错误：java.lang.ClassNotFoundException： org.apache.commons.csv.CSVParser

我在 Windows 机器上，有没有其他更好的方法来制作 jar 文件？

Answer 1

首先，您可以将 CSV jar 放入类路径并编译您的 mapreduce 作业类。如果它比在运行 mapreduce 作业时编译正确，还要在 hadoop 命令中添加这个 jar。