安装最新的苏打水版本

Question

我正在遵循苏打水的安装指南，但它根本不起作用。它由 8 个步骤组成，如您所见：rsparkling

• 第 2 步的第一个问题安装旧版本的 sparklyr（与 Spark 2.3.1 不兼容），使用 install.packages("https://github.com/rstudio/sparklyr/archive/v0.8.0.tar.gz", repos = NULL, type="source") 解决
• 步骤 3，Spark 版本 2.3.1 不可用，如命令 sparklyr::spark_available_versions() #2.3.0 所示。解决了直接从页面Apache Spark安装。
• 第 6 步不起作用，请使用 h2o、packageVersion("h2o") #'3.21.0.4359' 安装不受支持的 rsparkling 版本

我正在尝试执行以下操作，下载最新版本的苏打水，解压缩文件。并使用以下代码：

install.packages("C:/Users/USER/Downloads/sparkling-water-2.3.259_nightly/rsparkling.tar.gz", repos=NULL, type="source")
* installing *source* package 'rsparkling' ...
** package 'rsparkling' successfully unpacked and MD5 sums checked
** R
** inst
** preparing package for lazy loading
** help
*** installing help indices
** building package indices
** testing if installed package can be loaded
* DONE (rsparkling)
In R CMD INSTALL

到目前为止一切都很好。

options(rsparkling.sparklingwater.version = "2.3.259_nightly")
library(rsparkling)
# 7. Connect to Spark
sc <- sparklyr::spark_connect(master = "local")
Error: invalid version specification ‘2.3.259_nightly’

错误：无效的版本规范“2.3.259_nightly”

注意： 下载Sparkling Water Nightly Bleeding Edge版本。 软件包 h2o、SparkR、sparklyr 和连接在 windows 7 R 版本 3.4.4 上正常工作，我只有 rsparkling 有问题。

system('spark-submit --version')
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.3.1
      /_/

Using Scala version 2.11.8, Java HotSpot(TM) 64-Bit Server VM, 1.8.0_151
Branch 
Compiled by user vanzin on 2018-06-01T20:37:04Z

为了解决这个问题，我安装了合适版本的rsparkling，兼容最新版本的h2o。

编辑问题：劳伦感谢您提供的链接，现在我正在使用最新的稳定版本的 h2o 3.20.0.5 和苏打水。但显然我认为问题不在于 rsparkling 包，而在于 sparklyr 包，因为 apache spark 2.3.1 的最新版本已发布（2018 年 6 月 8 日），而 sparklyr 0.8.4 的最新更新是（5 月） 25 2018）也就是说，它提前一个月推出（spark 2.3.1 不存在）。因此命令：

spark_available_versions()
   spark
1  1.6.3
2  1.6.2
3  1.6.1
4  1.6.0
5  2.0.0
6  2.0.1
7  2.0.2
8  2.1.0
9  2.1.1
10 2.2.0
11 2.2.1
12 2.3.0

# Set spark connection
sc <- spark_connect(master = "local", version = "2.3.1") #It does not work
Error in spark_install_find(version, hadoop_version, latest = FALSE, hint = TRUE) : 
Spark version not installed. To install, use spark_install(version = "2.3.1")
spark_install(version = "2.3.1")
Error in spark_install_find(version, hadoop_version, installed_only = FALSE,  : 
Spark version not available. Find available versions, using spark_available_versions()
sc <- spark_connect(master = "local") #it works perfectly

我认为解决方案将等待 sparklyr 0.9.0

Answer 1

夜间下载页面适用于简单的环境，并不意味着捕获所有可能的配置。

但是，由于这个问题是针对 Windows 的，您可以找到有关如何在 Windows 环境中使用苏打水here 以及如何在 Windows 环境中使用 Rsparkling here 的文档（请注意，这些是最新的稳定版，但每晚发布的说明应该类似）。

Answer 2

首先安装最新版本的 sparklyr 并连接到 Spark

library(sparklyr)
spark_install(version = "2.3.2")
sc <- spark_connect(master = "local", version = "2.3.2")

安装正确版本的H2O：

install.packages("h2o", type = "source", repos = "https://h2o-release.s3.amazonaws.com/h2o/rel-wright/10/R")
packageVersion("h2o")
[1] ‘3.20.0.10’

验证苏打水与水的相容性

rsparkling::h2o_release_table()[1:5,]
   Spark_Version Sparkling_Water_Version H2O_Version H2O_Release_Name H2O_Release_Patch_Number
1            2.3                  2.3.16   3.20.0.10       rel-wright                       10
17           2.3                  2.3.15    3.20.0.9       rel-wright                        9
16           2.3                  2.3.14    3.20.0.8       rel-wright                        8
15           2.3                  2.3.13    3.20.0.7       rel-wright                        7
14           2.3                  2.3.12    3.20.0.6       rel-wright                        6

设置与 RSparkling 一起使用的苏打水版本

options(rsparkling.sparklingwater.version = "2.3.16")
library(rsparkling)

现在，H2OContext 可用，我们可以使用 R 中可用的任何 H2O 功能。 h2o_context(sc) org.apache.spark.h2o.H2OContext

Sparkling Water Context:
 * H2O name: sparkling-water-USER_local-1539839100465
 * cluster size: 1
 * list of used nodes:
  (executorId, host, port)
  ------------------------
  (driver,127.0.0.1,54321)
  ------------------------

  Open H2O Flow in browser: http://127.0.0.1:54321 (CMD + click in Mac OSX)

h2o_flow(sc)

初始化Spark UI

现在通过苏打水将 Spark 与 H2O 集成完美。

Answer 3

虽然您的问题是针对 Windows 的，但您可能想试试在 Mac 上运行良好的 this solution。