如何使用 java 中的 eclipse 在 Windows 上本地运行 Spark

Question

我正在尝试测试 Mllib 的 SVM 实现。我想使用 eclipse 在 Windows 上本地运行他们的 java 示例。 我已经下载了为 Hadoop 2.6 预先构建的 Spark 1.3.1 。 当我尝试运行示例代码时，我得到：

15/06/11 16:17:09 ERROR Shell: Failed to locate the winutils binary in the hadoop binary path
java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries.

为了能够在此设置中运行示例代码，我应该进行哪些更改？

Answer 1

1. 创建以下目录结构：“C:\hadoop_home\bin”（或将“C:\hadoop_home”替换为您喜欢的任何内容）

2. 下载以下文件：http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe

3. 将步骤 2 中的文件放入步骤 1 中的“bin”目录中。

4. 将“hadoop.home.dir”系统属性设置为“C:\hadoop_home”（或您在步骤 1 中创建的任何目录，末尾不带“\bin”）。

Answer 2

使用 Maven 项目在 windows eclipse 中运行 Spark：-

1. 创建 Scala 项目并声明 Scala 对象。然后将项目转换为 Maven（您应该为此安装 m2eclipse 插件 - 您可以在 Eclipse 市场中找到它）。
2. 将创建pom.xml。请添加以下依赖项，

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>1.6.0</version>
</dependency>

1. 现在，使用一些示例 Spark 代码构建您的项目（应该没有任何错误）

2. 现在按照下面的设置，

   • 创建以下目录结构：“C:\hadoop_home\bin”（或将“C:\hadoop_home”替换为您喜欢的任何内容）
   • 下载以下文件：http://public-repo-1.hortonworks.com/hdp-win-alpha/winutils.exe
   • 将步骤 2 中的文件放入步骤 1 中的“bin”目录中。
   • 将“hadoop.home.dir”系统属性设置为“C:\hadoop_home”（或您在步骤 1 中创建的任何目录，末尾不带“\bin”）。 注意：您应该在 Spark 代码的开头声明此属性。

System.setProperty("hadoop.home.dir", "C://Users//Desktop//hadoop_home")

Answer 3

1. 创建目录：

E:\hadoop_home\bin

1. 从以下 github 存储库的任何 hadoop-x.x.x/bin 目录下载所需的 winutils.exe 文件：https://github.com/steveloughran/winutils

2. 将下载的winutils.exe文件放入

E:\hadoop_home\bin

我们在步骤 1 中创建的目录。

4. 设置

hadoop.home.dir

在代码ex中的系统属性中：

import org.apache.spark.sql.SparkSession

object QuesCount {

  def main(args: Array[String]) = {

    System.setProperty("hadoop.home.dir", "E:\\hadoop_home")

  }
}

5. 右键单击您的 scala 文件 Run As> Scala Application