从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本
本篇来看下 spark submit 脚本实现。

if [ -z "${SPARK_HOME}" ]; then
  source "$(dirname "$0")"/find-spark-home
fi

# disable randomized hash for string in Python 3.3+
#主要是为了禁止hash随机化

export PYTHONHASHSEED=0

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "[email protected]"

东西不多 在spark -submit脚本中调用spark-class 脚本。

欢迎关注,更多惊喜等着你

spark2.0源码解析(二) : spark submit 脚本解析

相关文章:

  • 2021-11-24
  • 2021-12-18
  • 2021-07-26
  • 2022-12-23
  • 2021-05-13
  • 2021-12-18
  • 2021-12-18
猜你喜欢
  • 2022-01-23
  • 2021-09-02
  • 2021-06-24
  • 2021-08-08
  • 2021-11-08
  • 2021-11-09
  • 2021-12-18
相关资源
相似解决方案