【问题标题】:Unable to launch sparkR shell in spark-1.4.0无法在 spark-1.4.0 中启动 sparkR shell
【发布时间】:2015-06-12 13:28:05
【问题描述】:

我今天下载了 Spark-1.4.0 并尝试在 Linux 和 Windows 环境中启动 sparkR shell - bin 目录中的命令 sparkR 不起作用。任何人都成功启动了 sparkR shell,请。告诉我。

谢谢 桑杰

【问题讨论】:

  • 欢迎使用 stackoverflow。您能否添加一些详细信息,例如例外情况以及您尝试过的内容。否则,仅通过“它不起作用”消息来提供帮助并不容易。

标签: sparkr


【解决方案1】:

我可以帮助您进行 Windows 设置。不幸的是,我不了解 Linux。 我的解决方案如下,我也发布在我的blog

此解决方案的一个限制是它仅适用于命令行解释器,这意味着您可以从命令提示符调用 sparkR,但不能使用 RStudio 等任何前端 IDE。我仍在试图弄清楚如何让 sparkR 在 RStudio 上工作。 诀窍是确保您正确设置环境变量。我使用的是 Windows 7 HP 版 64 位操作系统。第一步是下载Maven,SBT

将变量名称设置为 `JAVA_HOME(如果您的计算机上未安装 JAVA,请按照以下步骤操作)。接下来将变量值设置为 JDK PATH。就我而言,它是“C:\Program Files\Java\jdk1.7.0_79\”(请输入不带单引号的路径) 同样,创建一个新的系统变量并将其命名为 PYTHON_PATH。将变量值设置为计算机上的 Python 路径。就我而言,它是“C:\Python27\”(请输入不带单引号的路径) 创建一个新的系统变量并将其命名为 HADOOP_HOME。将变量值设置为 C:\winutils。 (注意:不需要安装 Hadoop。spark shell 只需要 Hadoop 路径,在这种情况下,它保存了 winutils 的值,这将让我们在 windows 环境下编译 spark 程序。 创建一个新的系统变量并将其命名为 SPARK_HOME。将变量值分配为 Spark 二进制位置的路径。就我而言,它位于“C:\SPARK\BIN”中 创建一个新的系统变量并将其命名为 SBT_HOME。将变量值分配为 Spark 二进制位置的路径。就我而言,它位于“C:\PROGRAM FILES (x86)\SBT\” 创建一个新的系统变量并将其命名为 MAVEN_HOME。将变量值分配为 Spark 二进制位置的路径。就我而言,它位于“C:\PROGRAM FILES\APACHE MAVEN 3.3.3\”中 创建所有这些变量后,接下来选择“系统变量”下的“路径”变量,然后单击“编辑”按钮。将弹出一个名为“编辑系统变量”的窗口。保持变量名称“路径”不变。在变量值中,按照给定的方式附加以下字符串

%Java_HOME%\bin;%PYTHONPATH%;%SPARK_HOME%;%HADOOP_HOME%;

%MAVEN_HOME%\bin;%M3_HOME%\bin; ' 点击 Ok 按钮关闭环境变量窗口。

现在打开终端(命令提示符窗口)并通过键入命令 pyspark 调用 pysparkR。如果你想调用 scala 那么命令是 spark-shell

希望这会有所帮助。

干杯

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2016-12-12
    • 2015-09-16
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-04-01
    • 1970-01-01
    相关资源
    最近更新 更多