spark部署模式

spark部署模式

常见的部署方式：

1. 本地部署：
2. 本地集群部署：
3. Standalone部署：
4. other部署：

部署模式设计的组件：

1. Application：用户使用Spark API开发的应用程序
2. Driver：应用驱动程序。有了Driver，APplication才会被提交到Spark集群运行。
3. Master：Spark的主控节点。
4. Worker：Spark的工作节点，向Master汇报自身资源、Executor执行状态的改变，并接受Master的命令启动Executor或者Driver。
5. Executor：Spark的工作进程，由Work监管，负责具体任务的执行。