【问题标题】:Failed to set permissions of path: \tmp设置路径权限失败:\tmp
【发布时间】:2013-06-20 08:25:32
【问题描述】:
Failed to set permissions of path: \tmp\hadoop-MayPayne\mapred\staging\MayPayne2016979439\.staging to 0700 

我在执行 MapReduce 作业时遇到此错误,我使用的是 hadoop 1.0.4,然后我知道这是一个已知问题,我在 1.2.0 上尝试过,但问题仍然存在。我可以知道他们已经解决了这个问题的 hadoop 版本吗?

提前谢谢大家

【问题讨论】:

  • 您确定这个问题与您使用的 Hadoop 版本有关吗?您使用什么用户 ID 来提交 MapReduce 作业? \tmp 的所有者是谁?
  • 是的,运行 MapReduce 作业的用户必须是您提到的目录的所有者。
  • Hadoop 跟踪器中跟踪的已知问题在哪里?

标签: hadoop


【解决方案1】:

我在 Windows 7 上运行 nutch-1.7 时遇到了同样的异常。

bin/nutch crawl urls -dir crawl11 -depth 1 -topN 5

以下步骤对我有用

  1. Download 部分下载预构建的 JAR,patch-hadoop_7682-1.0.x-win.jar。您可能会获得 hadoop 的步骤。
  2. 拷贝patch-hadoop_7682-1.0.x-win.jar到${NUTCH_HOME}/lib目录
  3. 修改 ${NUTCH_HOME}/conf/nutch-site.xml 以启用覆盖实现,如下所示:

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <!-- Put site-specific property overrides in this file. -->
    <configuration>
        <property>
            <name>fs.file.impl</name>
            <value>com.conga.services.hadoop.patch.HADOOP_7682.WinLocalFileSystem</value>
            <description>Enables patch for issue HADOOP-7682 on Windows</description>
        </property>
     </configuration>
    
  4. 照常运行您的工作(使用 Cygwin)。

【讨论】:

    【解决方案2】:

    下载 hadoop-core-0.20.2.jar 并将其放在 nutcher 的 lib 目录中解决了我的问题

    (windows 的情况下)如果还没有解决,试试这个hadoop's patch

    【讨论】:

    • hadoop-core-0.20.2.jar 为我修复了它。谢谢
    【解决方案3】:

    设置下面的虚拟机参数

    -Dhadoop.tmp.dir=<A directory location with write permission>
    

    覆盖默认的 /tmp 目录

    同时使用 hadoop-core-0.20.2.jar (http://mvnrepository.com/artifact/org.apache.hadoop/hadoop-core/0.20.2) 将解决报告的问题。

    【讨论】:

      【解决方案4】:

      我设法通过稍微更改 hadoop-core jar 文件来解决这个问题。更改了 hadoop-core.jar 文件中 FileUtil.java 中的错误导致方法,并重新编译并包含在我的 eclipse 项目中。现在错误消失了。我建议你们每个人都这样做。

      【讨论】:

        猜你喜欢
        • 2013-07-07
        • 1970-01-01
        • 1970-01-01
        • 2013-02-17
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 1970-01-01
        • 2011-10-17
        相关资源
        最近更新 更多