【问题标题】:Amazon Web Services Map-Reduce error Illegal character in path at indexAmazon Web Services Map-Reduce 错误 Illegal character in path at index
【发布时间】:2016-08-30 19:06:49
【问题描述】:

我正在尝试在我的 AWS 集群上运行 map reduce 步骤,但出现以下错误。谁能帮我理解可能是什么问题?当我使用模拟数据在我的 pycharm ide 中运行映射器代码时,它正在正常工作。

线程“main”中的异常 java.lang.IllegalArgumentException:java.net.URISyntaxException:索引 26 处路径中的非法字符:s3://sg4565-nyu-2016/Final Project/weather_mapper.py 在 org.apache.hadoop.util.GenericOptionsParser.validateFiles(GenericOptionsParser.java:397) 在 org.apache.hadoop.util.GenericOptionsParser.processGeneralOptions(GenericOptionsParser.java:312) 在 org.apache.hadoop.util.GenericOptionsParser.parseGeneralOptions(GenericOptionsParser.java:487) 在 org.apache.hadoop.util.GenericOptionsParser.(GenericOptionsParser.java:170) 在 org.apache.hadoop.util.GenericOptionsParser.(GenericOptionsParser.java:153) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:64) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84) 在 org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.run(RunJar.java:221) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:136) 引起:java.net.URISyntaxException:索引 26 处路径中的非法字符:s3://sg4565-nyu-2016/Final Project/weather_mapper.py 在 java.net.URI$Parser.fail(URI.java:2829) 在 java.net.URI$Parser.checkChars(URI.java:3002) 在 java.net.URI$Parser.parseHierarchical(URI.java:3086) 在 java.net.URI$Parser.parse(URI.java:3034) 在 java.net.URI.(URI.java:595) 在 org.apache.hadoop.util.GenericOptionsParser.validateFiles(GenericOptionsParser.java:395) ... 13 更多 命令以 ret '1' 退出

【问题讨论】:

    标签: hadoop amazon-web-services dictionary reduce


    【解决方案1】:

    删除 URL 中的空格。 Final Project 不是有效的 URI 路径。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2020-01-04
      • 1970-01-01
      • 2021-06-27
      • 1970-01-01
      • 2012-06-02
      • 2020-08-26
      相关资源
      最近更新 更多