为什么带有 GraphFrames jar 的“spark-shell --jars”会给出“错误：加载类文件'Logging.class'时检测到缺少或无效的依赖项”？

Question

我已经运行了一个命令spark-shell --jars /home/krishnamahi/graphframes-0.4.0-spark2.1-s_2.11.jar，它给我一个错误

错误：加载类文件“Logging.class”时检测到缺少或无效的依赖项。 无法访问 com 包中的术语类型安全， 因为它（或其依赖项）丢失了。检查您的构建定义 缺少或冲突的依赖关系。 （使用 -Ylog-classpath 重新运行以查看有问题的类路径。） 如果“Logging.class”是针对不兼容的 com 版本编译的，则完全重建可能会有所帮助。 错误：加载类文件“Logging.class”时检测到缺少或无效的依赖项。 无法访问值 com.typesafe 中的术语缩放， 因为它（或其依赖项）丢失了。检查您的构建定义 缺少或冲突的依赖关系。 （使用 -Ylog-classpath 重新运行以查看有问题的类路径。） 如果“Logging.class”是针对不兼容的 com.typesafe 版本编译的，则完全重建可能会有所帮助。 错误：加载类文件“Logging.class”时检测到缺少或无效的依赖项。 无法访问值 com.slf4j 中的类型 LazyLogging， 因为它（或其依赖项）丢失了。检查您的构建定义 缺少或冲突的依赖关系。 （使用 -Ylog-classpath 重新运行以查看有问题的类路径。） 如果“Logging.class”是针对不兼容的 com.slf4j 版本编译的，则完全重建可能会有所帮助。

我使用的是 Spark 版本 2.1.1、Scala 版本 2.11.8、JDK 版本 1.8.0_131、CentOS7 64 位、Hadoop 2.8.0。谁能告诉我我应该给什么额外的命令才能完美运行程序？提前致谢。

Answer 1

如果您想使用GraphFrames，请改用spark-shell 的--packages 命令行选项。

--packages 要包含在驱动程序和执行程序类路径中的 jar 的 maven 坐标的逗号分隔列表。将搜索本地 maven 存储库，然后搜索 maven Central 和 --repositories 提供的任何其他远程存储库。坐标的格式应该是 groupId:artifactId:version。

对于graphframes-0.4.0-spark2.1-s_2.11.jar，如下所示：

$SPARK_HOME/bin/spark-shell --packages graphframes:graphframes:0.4.0-spark2.1-s_2.11

我从 GraphFrames 项目的 How to 部分逐字复制。

这样您就不必搜索 GraphFrames 库的所有（传递）依赖项，因为 Spark 会自动为您完成。

Answer 2

我已经安装了原始 Hadoop，以及最新版本的所有组件 Hive、Pig、Spark。然后它对我有用。我用的是 Cent OS 7。安装 Hadoop 和组件的顺序是

1. Anaconda3/Python3（因为 Spark 2.x 不支持 Python 2）
2. Hadoop
3. 猪
4. 蜂巢
5. Hbase
6. 火花

所有组件都应该在同一个终端中一次完成。安装 Spark 后，重新启动系统。