使用 mongo-hadoop 连接器的 Hadoop 流式传输失败答案

【问题标题】：Hadoop streaming with mongo-hadoop connector fails使用 mongo-hadoop 连接器的 Hadoop 流式传输失败
【发布时间】：2016-06-13 16:32:46
【问题描述】：

我创建了这个从 HDFS 读取一堆 JSON 文件并尝试将它们加载到 MongoDB 的作业。这只是 map 脚本，因为我不需要对 reduce 步骤进行任何额外的处理。我正在尝试使用 mongo-hadoop 连接器。

脚本是用 Perl 编写的，并提供给集群中的所有节点，并提供了所有额外的依赖项。该脚本以二进制模式发出原始 JSON 文件的 BSON 序列化版本。

由于某些原因，作业失败并出现以下错误：

Error: java.lang.ClassCastException: org.apache.hadoop.io.Text cannot be cast to com.mongodb.hadoop.io.BSONWritable
    at com.mongodb.hadoop.streaming.io.MongoInputWriter.writeValue(MongoInputWriter.java:10)
    at org.apache.hadoop.streaming.PipeMapper.map(PipeMapper.java:106)
    at org.apache.hadoop.mapred.MapRunner.run(MapRunner.java:54)
    at org.apache.hadoop.streaming.PipeMapRunner.run(PipeMapRunner.java:34)
    at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:453)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)
    at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:168)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:422)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
    at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

不仅如此，我还使用 pymono-hadoop 包在 python 中创建了相同脚本的一个版本。作业失败并出现同样的错误。

在日志中对失败的任务进行更多挖掘后，我发现实际错误是：

2016-06-13 16:13:11,778 INFO [Thread-12] com.mongodb.hadoop.io.BSONWritable: No Length Header available.java.io.EOFException

问题是它静默失败，我在映射器中添加了一些日志记录，但从它的外观来看，映射器甚至没有被调用。我就是这样称呼这份工作的：

yarn jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-streaming.jar \
    -libjars /opt/mongo-hadoop/mongo-hadoop-core-1.5.2.jar,/opt/mongo-hadoop/mongo-hadoop-streaming-1.5.2.jar,/opt/mongo-hadoop/mongodb-driver-3.2.2.jar \
    -D mongo.output.uri="${MONGODB}" \
    -outputformat com.mongodb.hadoop.mapred.MongoOutputFormat \
    -jobconf stream.io.identifier.resolver.class=com.mongodb.hadoop.streaming.io.MongoIdentifierResolver \
    -io mongodb \
    -input "${INPUT_PATH}" \
    -output "${OUTPUT_PATH}" \
    -mapper "/opt/mongo/mongo_mapper.py"

我做错了什么？似乎没有其他方法可以将数据从 HDFS 获取到 MongoDB...

【问题讨论】：

您应该添加更新作为问题的答案。如果有人在搜索中找到您的问题，他们会更轻松。
谢谢。完成了！

标签： mongodb perl hadoop language-agnostic hadoop-streaming

【解决方案1】：

我想知道为什么我不首先尝试这个：

OUTPUT_PATH=`mktemp -d`

yarn jar /usr/hdp/2.4.0.0-169/hadoop-mapreduce/hadoop-streaming.jar \
    -D mapred.job.name="${BUILD_TAG}" \
    -D mapred.job.queue.name="sr" \
    -input "${INPUT_PATH}" \
    -output "${OUTPUT_PATH}" \
    -mapper "/usr/bin/mongoimport -h ${MONGODB_HOST} -d ${MONGODB_DATABASE} -c ${MONGODB_COLLECTION}"

你猜怎么着？它就像一个魅力！

【讨论】：