Hadoop-3.0.0 与旧版本 Hive、Pig、Sqoop 和 Spark 的兼容性如何

【问题标题】：How is Hadoop-3.0.0 's compatibility with older versions of Hive, Pig, Sqoop and SparkHadoop-3.0.0 与旧版本 Hive、Pig、Sqoop 和 Spark 的兼容性如何
【发布时间】：2017-12-21 07:31:57
【问题描述】：

我们目前在 10 节点集群上使用 hadoop-2.8.0，并计划升级到最新的 hadoop-3.0.0。

我想知道如果我们将hadoop-3.0.0 与旧版本的 Spark 和其他组件（例如 Hive、Pig 和 Sqoop）一起使用会不会有任何问题。

【问题讨论】：

最新的 Spark 2.2.1 不支持 Hadoop 3.0.0。
@JacekLaskowski ，它抛出什么类型的异常？ .我在spark 的下载页面上读到它适用于hadoop 2.7 版及更高版本。 spark 和 hadoop 的最新版本不兼容，这不难理解！
不幸的是我不知道具体情况。

标签： hadoop apache-spark hive apache-pig sqoop

【解决方案1】：

最新的Hive版本不支持Hadoop3.0。看来以后Hive可能会建立在Spark或者其他计算引擎上。

【讨论】：

是的，性能方面，hive 在 spark 上运行时比 hadoop 快得多。

猜你喜欢

2016-02-26
2016-02-20
2019-01-28
1970-01-01
2016-09-24
1970-01-01
1970-01-01
1970-01-01
1970-01-01

相关资源

下载 2022-12-15
下载 2021-06-06
下载 2023-02-06

最近更新更多

热门标签

Java Python linux javascript Mysql C# Docker 算法前端 SpringBoot Redis Vue spring 设计模式 .net core .net kubernetes c++ 数据库数据结构大数据 js 机器学习微服务 Android Go 程序员面试 JVM ASP.net core 云原生人工智能后端 PHP git CSS golang k8s Nginx Django mybatis 深度学习多线程 React 架构 devops 爬虫云计算 Spring Boot LeetCode