【发布时间】:2016-08-30 19:06:49
【问题描述】:
我正在尝试在我的 AWS 集群上运行 map reduce 步骤,但出现以下错误。谁能帮我理解可能是什么问题?当我使用模拟数据在我的 pycharm ide 中运行映射器代码时,它正在正常工作。
线程“main”中的异常 java.lang.IllegalArgumentException:java.net.URISyntaxException:索引 26 处路径中的非法字符:s3://sg4565-nyu-2016/Final Project/weather_mapper.py 在 org.apache.hadoop.util.GenericOptionsParser.validateFiles(GenericOptionsParser.java:397) 在 org.apache.hadoop.util.GenericOptionsParser.processGeneralOptions(GenericOptionsParser.java:312) 在 org.apache.hadoop.util.GenericOptionsParser.parseGeneralOptions(GenericOptionsParser.java:487) 在 org.apache.hadoop.util.GenericOptionsParser.(GenericOptionsParser.java:170) 在 org.apache.hadoop.util.GenericOptionsParser.(GenericOptionsParser.java:153) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:64) 在 org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:84) 在 org.apache.hadoop.streaming.HadoopStreaming.main(HadoopStreaming.java:50) 在 sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) 在 sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) 在 sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) 在 java.lang.reflect.Method.invoke(Method.java:606) 在 org.apache.hadoop.util.RunJar.run(RunJar.java:221) 在 org.apache.hadoop.util.RunJar.main(RunJar.java:136) 引起:java.net.URISyntaxException:索引 26 处路径中的非法字符:s3://sg4565-nyu-2016/Final Project/weather_mapper.py 在 java.net.URI$Parser.fail(URI.java:2829) 在 java.net.URI$Parser.checkChars(URI.java:3002) 在 java.net.URI$Parser.parseHierarchical(URI.java:3086) 在 java.net.URI$Parser.parse(URI.java:3034) 在 java.net.URI.(URI.java:595) 在 org.apache.hadoop.util.GenericOptionsParser.validateFiles(GenericOptionsParser.java:395) ... 13 更多 命令以 ret '1' 退出
【问题讨论】:
标签: hadoop amazon-web-services dictionary reduce