相关内容参考

专栏:大数据入门

【软件安装】(一)win10安装hadoop 2.8.5(详细步骤)

(二)win10 Eclipse上配置Hadoop(详细步骤)

(三)Hadoop简单应用 单词统计

目录

1 scala

1.1 下载    1.2 .msi安装(无需配置)     1.3 .zip安装+配置            1.4 测试

2 spark

2.1 下载解压               2.2 配置测试

3 踩坑记录

【已解决】报错:WARN ProcfsMetricsGetter


 

1 scala

1.1 下载

官方下载网址 或 github下载zip

(四)win10安装Scala和Spark

1.2 .msi安装(无需配置)

(四)win10安装Scala和Spark

(四)win10安装Scala和Spark

安装完后,path中自动添加路径,方便

(四)win10安装Scala和Spark

1.3 .zip安装+配置

(四)win10安装Scala和Spark

解压后还要配置环境变量

(四)win10安装Scala和Spark

1.4 测试

(四)win10安装Scala和Spark

2 spark

2.1 下载解压

官方下载网址

(四)win10安装Scala和Spark

跳转页面后继续点击

(四)win10安装Scala和Spark

(四)win10安装Scala和Spark

2.2 配置测试

(四)win10安装Scala和Spark

(四)win10安装Scala和Spark

3 踩坑记录

【已解决】报错:WARN ProcfsMetricsGetter:

Exception when trying to compute pagesize, as a result reporting of ProcessTree metrics is stopped

(四)win10安装Scala和Spark

思路:看了很多博客,比如java安装路径带空格、python路径等,都没有用。

后来翻开了朋友的安装路径,发现是spark版本问题。

(四)win10安装Scala和Spark

最开始选的spark版本为v3.0.0,但是不太合适,改成v2.4.6,就ok了。

 

 

相关文章:

  • 2021-04-23
  • 2021-10-01
  • 2021-09-29
  • 2021-11-21
  • 2021-12-20
  • 2021-05-07
  • 2021-10-07
  • 2022-12-23
猜你喜欢
  • 2022-01-21
  • 2021-05-21
  • 2021-09-21
  • 2022-12-23
  • 2021-11-26
  • 2021-12-27
  • 2021-12-24
相关资源
相似解决方案