如何从 tarball 分别安装 Spark 和 Hadoop [Cloudera]

Question

我想使用 tarball 安装 Hadoop 和 Spark 的 Cloudera 发行版。 我已经在本地机器上以伪分布式模式设置了 Hadoop，并成功运行了一个 Yarn 示例。

我从here下载了最新的压缩包CDH 5.3.x

但从 Cloudera 下载的 Spark 的文件夹结构与 Apache 网站不同。这可能是因为 Cloudera 提供了自己单独维护的版本。

因此，由于我还没有找到单独从 Cloudera 的 tarball 安装 Spark 的文档。 有人可以帮我理解怎么做吗？

Answer 1

Spark 可以解压到任何目录。您只需要运行带有所需参数的./bin/spark-submit 命令（在提取的spark 目录中可用）即可提交作业。要启动 spark 交互式 shell，请使用命令 ./bin/spark-shell。