【发布时间】:2014-01-29 01:48:25
【问题描述】:
我正在现有的工作 R 脚本中添加打印语句以用于某些调试目的。
print("Hello")
我在使用 Hadoop 流执行此代码时遇到了 Broken pipe 异常。如果我再次删除此打印,它会起作用,对我来说听起来很奇怪! 在编辑 Rscript 时,我通过窗口 gitbash 使用 vi。 能否请您提出解决方案。
【问题讨论】:
标签: hadoop hadoop-streaming rscript
我正在现有的工作 R 脚本中添加打印语句以用于某些调试目的。
print("Hello")
我在使用 Hadoop 流执行此代码时遇到了 Broken pipe 异常。如果我再次删除此打印,它会起作用,对我来说听起来很奇怪! 在编辑 Rscript 时,我通过窗口 gitbash 使用 vi。 能否请您提出解决方案。
【问题讨论】:
标签: hadoop hadoop-streaming rscript
如果您的 Hadoop 集群由 Linux 节点组成,并且您提交了在 windows 或 windows gitbash 中编辑的脚本,它将无法运行并引发误导性异常。只需使用 vi 或 emacs 在 linux 中编辑文件。或者使用 do2unix 命令将文件从 dos 格式转换为 linux 格式。 (这将删除尾随 \r\n 并替换为 \n)。
【讨论】: