解析亚马逊电子评论 Apache Pig

【问题标题】：Parsing Amazon Electronics Review Apache Pig解析亚马逊电子评论 Apache Pig
【发布时间】：2017-04-04 04:40:08
【问题描述】：

我已在我的 cloudera VM 的 Apache Pig 中加载了 Amazon Electronics 评论数据集 (http://jmcauley.ucsd.edu/data/amazon/) 5 核（1,689,188 条评论）

我已经关注了其他问题：-

Apache Pig error while dumping Json data

查看示例

{ "reviewerID": "A2SUAM1J3GNN3B", "asin": "0000013714", "reviewerName": "J. McDonald", "helpful": [2, 3], "reviewText": "I bought this for my husband who plays the piano. He is having a wonderful time playing these old hymns. The music is at times hard to read because we think the book was published for singing from more than playing from. Great purchase though!", "overall": 5.0, "summary": "Heavenly Highway Hymns", "unixReviewTime": 1252800000, "reviewTime": "09 13, 2009" }

grunt> reviews = LOAD 'amazon/amazon-pro/reviews.json' USING org.apache.pig.builtin.JsonLoader('id:chararray, asin:int, reviewerName: chararray, help:(int), reviewText ：chararray，整体：浮点数，摘要：chararray，时间：int，reviewTime：chararray'）；

grunt> viewReview = 限制评论 1；

grunt> DUMP viewReview;

我收到以下错误

2016-11-17 08:05:33,797 [main] INFO org.apache.pig.tools.pigstats.ScriptState - 脚本中使用的 Pig 功能：LIMIT
2016-11-17 08:05:35,897 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MRCompiler - 文件连接阈值：100 乐观？错误的
2016-11-17 08:05:36,531 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MultiQueryOptimizer - 优化前的 MR 计划大小：2
2016-11-17 08:05:36,532 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MultiQueryOptimizer - 优化后的 MR 计划大小：2
2016-11-17 08:05:37,577 [main] INFO org.apache.pig.tools.pigstats.ScriptState - Pig 脚本设置已添加到作业中
2016-11-17 08:05:38,183 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler - mapred.job.reduce.markreset.buffer.percent 未设置，设置为默认值 0.3
2016-11-17 08:05:38,225 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler - 将并行度设置为 1
2016-11-17 08:05:38,230 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler - 创建 jar 文件 Job974442700781595171.jar
2016-11-17 08:05:57,665 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler - jar 文件 Job974442700781595171.jar 创建
2016-11-17 08:05:57,754 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.JobControlCompiler - 设置单一存储作业
2016-11-17 08:05:58,090 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 1 个 map-reduce 作业等待提交。
2016-11-17 08:05:58,347 [JobControl] WARN org.apache.hadoop.mapred.JobClient - 使用 GenericOptionsParser 解析参数。应用程序应该实现同样的工具。
2016-11-17 08:05:58,614 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 0% 完成
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.df.interval 已弃用。相反，使用 fs.df.interval
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.max.objects 已弃用。相反，使用 dfs.namenode.max.objects
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - hadoop.native.lib 已弃用。相反，使用 io.native.lib.available
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.data.dir 已弃用。相反，使用 dfs.datanode.data.dir
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.name.dir 已弃用。相反，使用 dfs.namenode.name.dir
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - fs.default.name 已弃用。相反，使用 fs.defaultFS
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - fs.checkpoint.dir 已弃用。相反，使用 dfs.namenode.checkpoint.dir
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.block.size 已弃用。相反，使用 dfs.blocksize
2016-11-17 08:06:00,041 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.access.time.precision 已弃用。相反，使用 dfs.namenode.accesstime.precision
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.replication.min 已弃用。相反，使用 dfs.namenode.replication.min
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.name.edits.dir 已弃用。相反，使用 dfs.namenode.edits.dir
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.replication.considerLoad 已弃用。相反，使用 dfs.namenode.replication.considerLoad
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.balance.bandwidthPerSec 已弃用。相反，使用 dfs.datanode.balance.bandwidthPerSec
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.safemode.threshold.pct 已弃用。相反，使用 dfs.namenode.safemode.threshold-pct
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.http.address 已弃用。相反，使用 dfs.namenode.http-address
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.name.dir.restore 已弃用。相反，使用 dfs.namenode.name.dir.restore
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.https.client.keystore.resource 已弃用。相反，使用 dfs.client.https.keystore.resource
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.backup.address 已弃用。相反，使用 dfs.namenode.backup.address
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.backup.http.address 已弃用。相反，使用 dfs.namenode.backup.http-address
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.permissions 已弃用。相反，使用 dfs.permissions.enabled
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.safemode.extension 已弃用。相反，使用 dfs.namenode.safemode.extension
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.datanode.max.xcievers 已弃用。相反，使用 dfs.datanode.max.transfer.threads
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.https.need.client.auth 已弃用。相反，使用 dfs.client.https.need-auth
2016-11-17 08:06:00,042 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.https.address 已弃用。相反，使用 dfs.namenode.https-address
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.replication.interval 已弃用。相反，使用 dfs.namenode.replication.interval
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - fs.checkpoint.edits.dir 已弃用。相反，使用 dfs.namenode.checkpoint.edits.dir
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.write.packet.size 已弃用。相反，使用 dfs.client-write-packet-size
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.permissions.supergroup 已弃用。相反，使用 dfs.permissions.superusergroup
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - topology.script.number.args 已弃用。相反，使用 net.topology.script.number.args
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.umaskmode 已弃用。相反，使用 fs.permissions.umask-mode
2016-11-17 08:06:00,043 [JobControl] 警告 org.apache.hadoop.conf.Configuration - dfs.secondary.http.address 已弃用。相反，使用 dfs.namenode.secondary.http-address
2016-11-17 08:06:00,045 [JobControl] 警告 org.apache.hadoop.conf.Configuration - fs.checkpoint.period 已弃用。相反，使用 dfs.namenode.checkpoint.period
2016-11-17 08:06:00,045 [JobControl] 警告 org.apache.hadoop.conf.Configuration - topology.node.switch.mapping.impl 已弃用。相反，使用 net.topology.node.switch.mapping.impl
2016-11-17 08:06:00,045 [JobControl] 警告 org.apache.hadoop.conf.Configuration - io.bytes.per.checksum 已弃用。相反，使用 dfs.bytes-per-checksum
2016-11-17 08:06:00,217 [JobControl] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat - 处理的总输入路径：1
2016-11-17 08:06:00,270 [JobControl] INFO org.apache.pig.backend.hadoop.executionengine.util.MapRedUtil - 处理的总输入路径（组合）：11
2016-11-17 08:06:01,755 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - HadoopJobId：job_201611170800_0001
2016-11-17 08:06:01,755 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 处理别名 r，评论
2016-11-17 08:06:01,755 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 详细位置：M：reviews[1,10],r[2,4] C：回复：
2016-11-17 08:06:01,755 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 更多信息请访问：http://localhost.localdomain:50030/jobdetails.jsp?jobid=工作_201611170800_0001
2016-11-17 08:09:30,985 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 50% 完成
2016-11-17 08:09:31,500 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 作业 job_201611170800_0001 失败了！停止运行所有相关作业
2016-11-17 08:09:31,538 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 100% 完成
2016-11-17 08:09:31,596 [main] 错误 org.apache.pig.tools.pigstats.SimplePigStats - 错误 2997：无法从支持的错误重新创建异常：org.codehaus.jackson.JsonParseException：当前令牌（VALUE_STRING）不是数字，不能使用数值访问器
 在 [来源：java.io.ByteArrayInputStream@67de0c09；行：1，列：43]
    在 org.codehaus.jackson.JsonParser._constructError(JsonParser.java:1291)
    在 org.codehaus.jackson.impl.JsonParserMinimalBase._reportError(JsonParserMinimalBase.java:385)
    在 org.codehaus.jackson.impl.JsonNumericParserBase._parseNumericValue(JsonNumericParserBase.java:399)
    在 org.codehaus.jackson.impl.JsonNumericParserBase.getIntValue(JsonNumericParserBase.java:254)
    在 org.apache.pig.builtin.JsonLoader.readField(JsonLoader.java:189)
    在 org.apache.pig.builtin.JsonLoader.getNext(JsonLoader.java:157)
    在 org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigRecordReader.nextKeyValue(PigRecordReader.java:211)
    在 org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:483)
    在 org.apache.hadoop.mapreduce.task.MapContextImpl.nextKeyValue(MapContextImpl.java:76)
    在 org.apache.hadoop.map
2016-11-17 08:09:31,597 [main] 错误 org.apache.pig.tools.pigstats.PigStatsUtil - 1 个地图减少作业失败！
2016-11-17 08:09:31,602 [main] INFO org.apache.pig.tools.pigstats.SimplePigStats - 脚本统计：

HadoopVersion PigVersion UserId StartedAt FinishedAt 功能
2.0.0-cdh4.7.0 0.11.0-cdh4.7.0 cloudera 2016-11-17 08:05:37 2016-11-17 08:09:31 限制

失败的！

失败的工作：
JobId 别名功能消息输出
job_201611170800_0001 r,reviews 消息：作业失败！

输入：
无法从“hdfs://localhost.localdomain:8020/user/cloudera/amazon/amazon-pro/reviews.json”读取数据

输出：

计数器：
写入的总记录：0
写入的总字节数：0
可溢出内存管理器溢出计数：0
主动溢出的袋子总数：0
主动泄露的记录总数：0

工作 DAG：
job_201611170800_0001 -> 空，
空值


2016-11-17 08:09:31,602 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLauncher - 失败！
2016-11-17 08:09:31,635 [main] 错误 org.apache.pig.tools.grunt.Grunt - 错误 1066：无法打开别名 r 的迭代器
日志文件中的详细信息：/home/cloudera/pig_1479349681179.log

【问题讨论】：

    标签： json parsing hadoop apache-pig bigdata


    【解决方案1】： 
    reviews = LOAD '/user/cloudera/review.json' USING org.apache.pig.builtin.JsonLoader('reviewerID:chararray, asin:chararray,reviewerName: chararray, helpful:{t:(score:int)}, reviewText:chararray, overall:chararray, summary:chararray, Time:chararray, reviewTime:chararray');

DUMP reviews;

    【讨论】：

    • 不鼓励仅使用代码回答。请添加一些解释，说明这如何解决问题，或者这与现有答案有何不同。 From Review
    【解决方案2】：

    我认为helpful 的架构定义存在问题。与this other answer 相关的应该是这样的：

    ..., helpful:{t:(score:int)}, ...

    【讨论】：

    • 我正在查询包内的元组值。对此有任何想法。 reviewHelpPercent = FOREACH 评论生成 asin，有帮助，（双）有帮助。$0/helpful.$1 * 100 作为 helpPercent，reviewTime；
    猜你喜欢
    • 2017-07-28
    • 1970-01-01
    • 2021-04-05
    • 2020-07-07
    • 1970-01-01
    • 2020-01-26
    • 1970-01-01
    • 2012-04-27
    • 1970-01-01
    相关资源
    最近更新 更多
    热门标签
    Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode