【问题标题】:Is there a compatibility mapping of Spark, hadoop and hive有没有Spark、hadoop、hive的兼容性映射
【发布时间】:2016-09-24 08:37:52
【问题描述】:

理解不同版本的 Spark 和 hadoop 之间的版本兼容性令人困惑。 Hadoop 和 hive 也是如此。

有没有一张表可以知道哪个版本兼容其他版本?

【问题讨论】:

  • 下载页面上的预构建 Spark 包明确表示“适用于 Hadoop 2.6 及更高版本”,那么有什么混淆之处? Hive 可能相同,但 Hortonworks 的“芦笋图表”是他们官方支持的。 hortonworks.com/wp-content/uploads/2016/03/…
  • @cricket_007 感谢您的回复。那很有帮助。我正在添加您提供的图表作为我问题的答案。再次感谢。
  • 这不是一个兼容性图表,只是每个 HDP 版本中使用的图表

标签: hadoop apache-spark hive


【解决方案1】:

【讨论】:

  • Spark 与其他库的持续兼容性怎么样。目前我使用 Spark 2.2 并且无法使用 Hadoop 2.8.1 将一些数据从 Spark 保存到 Azure blob 存储。参考之前给出图表的@cricket_007
猜你喜欢
  • 2016-02-26
  • 1970-01-01
  • 2019-01-28
  • 2016-02-20
  • 1970-01-01
  • 2017-10-22
  • 2021-05-28
  • 2020-03-07
  • 1970-01-01
相关资源
最近更新 更多