如何在 hadoop 2.2.0 上集成 pig 和 cassandra？

【问题标题】：How to integrate pig with cassandra on hadoop 2.2.0?如何在 hadoop 2.2.0 上集成 pig 和 cassandra？
【发布时间】：2016-11-14 17:27:42
【问题描述】：

当我要使用 pig 将数据插入 cassandra 时，出现以下错误，

错误 org.apache.pig.tools.grunt.Grunt - 错误 2998：未处理的内部错误。 找到了接口 org.apache.hadoop.mapreduce.JobContext，但是应该有类

我的猪脚本是，

STORE 插入格式 INTO 'cql://cql3ks/simple_table1?output_query=UPDATE+cql3ks.simple_table1+set+b+%3D+%3F' 使用 CqlStorage;

【问题讨论】：

  • 你用的是哪个版本的猪？
  • 您好，感谢您的回复，我正在使用 pig-0.20.0 和 cassandra-1.2.15
  • 猪最新版本是0.16.0。你是怎么检查猪版本的？
  • 对不起，是我的错误。我使用的是 pig-0.12.0 版本
  • 在命令行中尝试“pig --version”

标签： hadoop cassandra apache-pig


【解决方案1】：

检查此链接https://pig.apache.org/docs/r0.12.0/start.html#req 以获取支持 hadoop 的猪版本。

它似乎适用于猪 0.12.0 -> Hadoop 0.20.2、020.203、020.204、0.20.205、1.0.0、1.0.1 或 0.23.0、0.23.1

对于猪 0.14.x -> Hadoop 0.23.X、1.X 或 2.X https://pig.apache.org/docs/r0.14.0/start.html#req

【讨论】：

  • 我用的是Hadoop 2.2.0.so 哪个版本的pig适合hadoop-2.2.0
  • pig-0.14.0在pig网站上不可用。只有15和16可用。能否请您发送pig.14的下载链接？
  • 你可以试试0.14+
  • 在将数据猪移动到cassandra之前，我可以启动Hadoop吗？
  • 启动 hadoop 服务？
猜你喜欢
  • 2012-02-07
  • 2014-11-27
  • 2016-11-15
  • 2015-08-16
  • 2014-10-25
  • 1970-01-01
  • 2014-06-19
  • 2013-11-29
  • 2012-07-26
相关资源
最近更新 更多
热门标签
Java Python linux javascript Mysql C# Docker 算法 前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库 数据结构 大数据 js 机器学习 微服务 Android Go 程序员 面试 JVM ASP.net core 云原生 人工智能 后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习 多线程 React 架构 devops 爬虫 云计算 Spring Boot LeetCode