spark-shell 在 Apache spark 中抛出错误答案

【问题标题】：spark-shell throws error in Apache sparkspark-shell 在 Apache spark 中抛出错误
【发布时间】：2019-05-26 23:29:24
【问题描述】：

我已经在虚拟机上的ubuntu上安装了hadoop（主机操作系统Windows 7）。我还安装了Apache spark，在.bashrc中配置了SPARK_HOME，并将HADOOP_CONF_DIR添加到spark-env.sh。现在，当我启动spark-shell 时，它会引发错误并且不初始化 spark 上下文、sql 上下文。我是否在安装过程中遗漏了一些东西，并且我想在集群上运行它（已设置 hadoop 3 节点集群）。

【问题讨论】：

我们将不胜感激您尝试过的任何示例以及您看到的错误。
欢迎来到 Stack Overflow。 Read here 了解有关如何创建最小、完整和可验证问题的更多信息。
添加你得到的详细错误，你是如何调用spark-shell的？添加新的环境变量后，您是否获取了.bashrc 文件？
感谢您的帮助。我现在可以安装和运行 spark 没有任何错误。我认为 spark 1.6.2 和 hadoop 2.6 之间存在兼容性问题。现在我想问一下我是否也应该在hadoop配置文件中进行任何主从设置？如果您能给我一些链接，那将非常有帮助

标签： hadoop apache-spark

【解决方案1】：

我在尝试使用 Windows 7 安装 Spark 本地时遇到了同样的问题。请确保以下路径正确，我相信我会与您合作。我在link 中回答了同样的问题，所以，你可以按照下面的方法进行操作。

创建 JAVA_HOME 变量：C:\Program Files\Java\jdk1.8.0_181\bin
将以下部分添加到您的路径中：;%JAVA_HOME%\bin
创建 SPARK_HOME 变量：C:\spark-2.3.0-bin-hadoop2.7\bin
将以下部分添加到您的路径中：;%SPARK_HOME%\bin
Hadoop 路径中最重要的部分应该在 winutils.ee 之前包含 bin 文件，如下所示：C:\Hadoop\bin 肯定会在此路径中找到 winutils.exe。
创建 HADOOP_HOME 变量：C:\Hadoop
将以下部分添加到您的路径中：;%HADOOP_HOME%\bin

现在你可以运行 cmd 并编写 spark-shell 了。

【讨论】：