Windows 7 中的 Hadoop 安装答案

【问题标题】：Hadoop Installation in Windows 7Windows 7 中的 Hadoop 安装
【发布时间】：2019-01-21 13:18:24
【问题描述】：

我正在 Windows 7 中安装 hadoop。

尝试从 apache 站点解压缩 tarfile，但未成功。

我在互联网上搜索并找到以下链接。

http://toodey.com/2015/08/10/hadoop-installation-on-windows-without-cygwin-in-10-mints/

我能够安装。但是当我尝试执行示例时，遇到了以下错误。

执行的命令：

C:\Users\hadoop\hadoop-2.7.1\bin\hadoop.cmd jar C:\Users\hadoop\hadoop-2.7.1\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.1.jar  wordcount /hadoop/input /hadoop/output

错误：

C:\Users\hadoop\hadoop-2.7.1>C:\Users\hadoop\hadoop-2.7.1\bin\hadoop.cmd jar C:\Users\hadoop\hadoop-2.7.1\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.1.jar  wordcount /hadoop/input /hadoop/output
16/11/14 17:05:28 INFO client.RMProxy: Connecting to ResourceManager at /0.0.0.0:0000
16/11/14 17:05:30 INFO input.FileInputFormat: Total input paths to process : 3
16/11/14 17:05:30 INFO mapreduce.JobSubmitter: number of splits:3
16/11/14 17:05:30 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1479122512555_0003
16/11/14 17:05:31 INFO impl.YarnClientImpl: Submitted application application_1479122512555_0003
16/11/14 17:05:32 INFO mapreduce.Job: The url to track the job: http://MachineName:8088/proxy/application_1479122512555_0003/
16/11/14 17:05:32 INFO mapreduce.Job: Running job: job_1479122512555_0003
16/11/14 17:05:36 INFO mapreduce.Job: Job job_1479122512555_0003 running in uber mode : false
16/11/14 17:05:36 INFO mapreduce.Job:  map 0% reduce 0%
16/11/14 17:05:36 INFO mapreduce.Job: Job job_1479122512555_0003 failed with state FAILED due to: Application application_1479122512555_0003 failed 2 times due to AM Container for appattempt_1479122512555_0003_000002 exited with  exitCode: -1000
For more detailed output, check application tracking page:http://MachineName:8088/cluster/app/application_1479122512555_0003Then, click on links to logs of each attempt.
Diagnostics: null
Failing this attempt. Failing the application.
16/11/14 17:05:36 INFO mapreduce.Job: Counters: 0

提前谢谢...

【问题讨论】：

标签： windows hadoop

【解决方案1】：

其实这是由于一些 yarn 本地目录的权限问题。所以这里是解决方案

使用纱线节点管理器上的 /etc/gphd/hadoop/conf/yarn-site.xml 中的参数 yarn.nodemanager.local-dirs 识别指定的纱线目录。
从yarn-site.xml中列出的所有目录和所有节点管理器中删除usercache下的文件/文件夹。

例如

rmdir path/to/yarn/nm/usercache/*

【讨论】：

以下是我可以看到的消息。没有可用于容器的日志 container_1479122512555_0003_02_000001 如果我指向错误的日志，请告诉我。
总是为输入提供特定的文件名
现在我已经在下面执行了。 C:\Users\hadoop\hadoop-2.7.1\bin\hadoop.cmd jar C:\Users\hadoop\hadoop-2.7.1\share\hadoop\mapreduce\hadoop-mapreduce-examples-2.7.1.jar wordcount /hadoop/input/LICENSE.txt /hadoop/output 但是错误是一样的。请问安装有没有问题？
好吧，没有日志文件的详细信息，很难说清楚。再次参考此链接，它将引导您查看标准错误容器日志文件srccodes.com/p/article/46/…)
请找到所要求的详细信息.... 应用程序 application_1479130023968_0001 由于 AM Container for appattempt_1479130023968_0001_000002 退出，退出代码：-1000 2 次失败有关更详细的输出，请查看应用程序跟踪页面：MachineName:8088/cluster/app/application_1479130023968_0001Then，单击链接到每次尝试的日志。诊断：null 此尝试失败。申请失败。