【问题标题】:Spark IndexedRDD for Scala 2.11.xScala 2.11.x 的 Spark IndexedRDD
【发布时间】:2016-04-20 14:05:18
【问题描述】:

我这里指的是项目:https://github.com/amplab/spark-indexedrdd

我的问题是:

  1. 这仍然维护吗?我注意到最后一次提交是在 2015 年 9 月
  2. 是否有计划在 Maven 上添加 2.11.x 版本?
  3. 是否有计划将索引 RDD 添加到 Spark Core 中?

写这篇文章我也意识到 Spark 项目使用 Scala 2.10.x。没有迁移到 2.11 有什么原因吗?

【问题讨论】:

  • 我猜是 spark scala 版本 (2.10.x) 是 indexedrdd 开发者没有引入 2.11 版本的主要原因
  • Spark 支持 Scala 2.11。无论 scala 的版本如何,这只是一个已经做出的决定。 Reynold Xin 不希望它出现在 spark-core 中。
  • 您能否接受答案或解释为什么它对您不起作用以便可以改进?谢谢。

标签: apache-spark


【解决方案1】:

我不相信它仍然被维护,但你应该在他们的github repo 上打开一个问题,直接与作者核实。

因此,关于添加 Scala 2.11 支持的问题也应该在此处得到解答。

关于 spark-core 集成,有一个关于该主题的JIRA discussion。该项目似乎是作为 spark-core 的拉取请求启动的,但最终,他们决定暂时将其保留为单独的包。

【讨论】:

猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2017-04-22
  • 2017-05-13
  • 1970-01-01
  • 2020-09-01
  • 1970-01-01
  • 1970-01-01
  • 2023-03-24
相关资源
最近更新 更多