Spark 提供了一个名为spark-submit 的单一工具来跨集群管理器的提交作业,命令如下:

bin/spark-submit [options] <app jar | python file> [app options]
1、[options]是spark-submit 的标志列表。你可以运行spark-submit --help来枚举所有可能的标志。
2、<app jar | python file>指向包含你程序入口点的JAR 包或者python 脚本。
3、[app options]是要传入你的程序的参数。如果你程序中的main()方法解析参数,
     看到的就只是[app options],看不到指定给spark-submit 的标志

例:bin/spark-submit --master spark://host:7077 --executor-memory 10g my_script.py

      --master 标志指定要连接的集群的URL

更多Options

spark-submit 分发应用

 

相关文章:

  • 2021-06-24
  • 2022-01-12
  • 2021-07-17
  • 2022-12-23
  • 2021-09-02
  • 2021-12-18
  • 2022-12-23
  • 2022-12-23
猜你喜欢
  • 2022-02-18
  • 2022-12-23
  • 2022-12-23
  • 2022-01-28
  • 2022-01-10
  • 2022-12-23
  • 2021-12-01
相关资源
相似解决方案