【发布时间】:2014-05-23 11:59:03
【问题描述】:
我有一个带有 Rstudio 的 Ubuntu 桌面,我还有一个在 Centos 下运行的远程 hadoop 集群,我希望从 RStudio 连接到它,据我了解,这是一种可行的方法,但有人可以确认一下吗?
【问题讨论】:
我有一个带有 Rstudio 的 Ubuntu 桌面,我还有一个在 Centos 下运行的远程 hadoop 集群,我希望从 RStudio 连接到它,据我了解,这是一种可行的方法,但有人可以确认一下吗?
【问题讨论】:
Rstudio 不允许您连接到 hadoop,但您可以使用 hadoop 流式处理 api 提交您的 hadoop 作业。
有一些软件包可以帮助您入门。我已经使用 rmr 在带有流 api 的 hadoop 集群上运行 map/reduce 作业。这些可以在这里找到。
https://github.com/RevolutionAnalytics/RHadoop/wiki
还有一个 ripe 包,它允许您与 R 脚本中的 hdfs 文件系统进行通信。
【讨论】: