安装 Spline 时出错（Spark 的数据沿袭工具）

Question

我正在尝试在 Windows 中安装 Apache Spline。 我的 Spark 版本是 2.4.0 Scala 版本是 2.12.0 我正在按照这里提到的步骤https://absaoss.github.io/spline/ 我运行了 docker-compose 命令，用户界面已启动

wget https://raw.githubusercontent.com/AbsaOSS/spline/release/0.5/docker-compose.yml
docker-compose up

之后我尝试运行以下命令来启动 pyspark shell

    pyspark \
  --packages za.co.absa.spline.agent.spark:spark-2.4-spline-agent-bundle_2.12:0.5.3 \
  --conf "spark.sql.queryExecutionListeners=za.co.absa.spline.harvester.listener.SplineQueryExecutionListener" \
  --conf "spark.spline.producer.url=http://localhost:9090/producer"

这给了我以下错误

    C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\pyspark\shell.py:45: UserWarning: Failed to initialize Spark session.
  warnings.warn("Failed to initialize Spark session.")
Traceback (most recent call last):
  File "C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\pyspark\shell.py", line 41, in <module>
    spark = SparkSession._create_shell_session()
  File "C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\pyspark\sql\session.py", line 583, in _create_shell_session
    return SparkSession.builder.getOrCreate()
  File "C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\pyspark\sql\session.py", line 183, in getOrCreate
    session._jsparkSession.sessionState().conf().setConfString(key, value)
  File "C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\java_gateway.py", line 1257, in __call__
    answer, self.gateway_client, self.target_id, self.name)
  File "C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\pyspark\sql\utils.py", line 63, in deco
    return f(*a, **kw)
  File "C:\Users\AyanBiswas\Documents\softwares\spark-2.4.0-bin-hadoop2.7\python\lib\py4j-0.10.7-src.zip\py4j\protocol.py", line 328, in get_return_value
    format(target_id, ".", name), value)
py4j.protocol.Py4JJavaError: An error occurred while calling o31.sessionState.
: java.lang.NoSuchMethodError: org.apache.spark.internal.Logging.$init$(Lorg/apache/spark/internal/Logging;)V

我试图检查可能导致此错误的原因，并且大多数帖子都指向 scala version mismatch ，但我使用的是 scala 2.12.0 并且提到的 spline 包也适用于 scala 2.12。那么，我错过了什么？

Answer 1

我会尝试将您的 Scala 和 Spark 版本更新为从不小版本。 Spline 使用 Spark 2.4.2 和 Scala 2.12.10。所以我会去的。但我不确定这是否是问题的原因。

Answer 2

我通过使用 spark 2.4.2 和 Scala 2.12.10 解决了该错误。 原因是

• 所有 spark 2.x 版本都是使用 scala 2.11 构建的
• 只有 spark 2.4.2 是使用 scala 2.12 构建的

这在spark下载页面here有提到

请注意，Spark 2.x 是使用 Scala 2.11 预构建的，但版本 2.4.2 是使用 Scala 2.12 预构建的。 Spark 3.0+ 是使用 Scala 2.12 预构建的。