【问题标题】:Is it possible to use R package in sparkR? [closed]是否可以在 sparkR 中使用 R 包? [关闭]
【发布时间】:2016-04-07 11:04:08
【问题描述】:

我正在研究 sparkR,我知道 CRAN 中有很多有用的 R 包。但似乎 R 包不能在 sparkR 中使用。对此我不确定。

是真的吗???如果不是,您能解释一下如何将 R 包导入 sparkR 吗?

【问题讨论】:

  • 只是出于兴趣,您最近是否发现答案有任何变化,或者答案仍然有效?我假设正在阅读最新的 SparkR 文档。谢谢
  • 我认为康拉德给出了很好的答案,但在实践中我无法做到。在阅读教程时,我的项目目标发生了变化。但是,我认为可以通过 includePackage 在 Spark 上使用 R 包。
  • 感谢,因为它也符合我的理解。

标签: r sparkr


【解决方案1】:

猜测您可能指的是includePackage 命令:

SparkR 还允许在闭包内轻松使用现有的 R 包。 includePackage 命令可用于指示包 应该在集群上执行每个闭包之前加载。

来源: R frontend for Spark

【讨论】:

  • 如果 SparkR 可以使用现有的 R 包,为什么 SparkR 在spark.apache.org/docs/latest/api/R/index.html 中提供大约两百个 API?只是为了方便使用???
  • 实际上,问题归结为 SparkR 是什么,来自official documentation: SparkR 是一个 R 包,它提供了一个轻量级的前端来使用 Apache Spark 来自 R。在 Spark 1.6.1 中,SparkR 提供了一个分布式数据帧实现,支持选择、过滤、聚合等操作(类似于 R 数据帧、dplyr),但适用于大型数据集。你看看this tutorial,它巧妙地展示了实际用法。
猜你喜欢
  • 2022-01-21
  • 2020-08-12
  • 2021-02-07
  • 2018-07-18
  • 1970-01-01
  • 2014-12-24
  • 1970-01-01
  • 1970-01-01
  • 2014-12-20
相关资源
最近更新 更多