【问题标题】:Getting exception WARN org.apache.hadoop.streaming.PipeMapRed: java.io.IOException: Broken pipe获取异常警告 org.apache.hadoop.streaming.PipeMapRed: java.io.IOException: Broken pipe
【发布时间】:2014-01-29 01:48:25
【问题描述】:

我正在现有的工作 R 脚本中添加打印语句以用于某些调试目的。

print("Hello")

我在使用 Hadoop 流执行此代码时遇到了 Broken pipe 异常。如果我再次删除此打印,它会起作用,对我来说听起来很奇怪! 在编辑 Rscript 时,我通过窗口 gitbash 使用 vi。 能否请您提出解决方案。

【问题讨论】:

    标签: hadoop hadoop-streaming rscript


    【解决方案1】:

    如果您的 Hadoop 集群由 Linux 节点组成,并且您提交了在 windows 或 windows gitbash 中编辑的脚本,它将无法运行并引发误导性异常。只需使用 vi 或 emacs 在 linux 中编辑文件。或者使用 do2unix 命令将文件从 dos 格式转换为 linux 格式。 (这将删除尾随 \r\n 并替换为 \n)。

    【讨论】:

    • 谢谢桑迪普。我尝试在 Vi 编辑器中打开 Rscript,但该问题没有解决。我只在 WinSCP 中打开了脚本文件,用于将文件从一台机器传输到另一台机器。它解决了我的问题。
    猜你喜欢
    • 1970-01-01
    • 2018-07-11
    • 2018-10-29
    • 2016-11-04
    • 2011-02-16
    • 1970-01-01
    • 2012-04-13
    • 2021-06-12
    • 2018-08-08
    相关资源
    最近更新 更多