spark的standalone模集群模式是spark自带的一种集群模式,主要就是适用于进行测试环境的测试工作,以及一些数据小范围的测试使用,一般不用于生产环境。
standalone模式洪有 master,worker,driver,excutor,w无需依赖其它。
其中master指的就是主节点,管理对worker从节点资源的分配和管理,决定Driver和xcutor的运行位置
worker从节点主要是接受来自master主节点的指示启动Excutor
driver驱动器是负责管理任务的DAU,负责调度运行task任务,取决于standalone是那种模式,如果是clinet的就是,就是提交大客户端机器上,如果是standaone on clusetr,就是会运行在某个从节点上。
excutor执行器是负责执行task任务的。
上述讲的其实就是spark任务提交所涉及到的组件啊,那么具体的步骤就是
1、Spark-submit提交需要运行的任务,涉及大参数包括claster类,以及运行模型是master,以及执行的内存和core等;
2、master接受到任务后选择一个work启动driver驱动器没,如果选择的事cline客户端模式,俺就是master所在的客户端作为driver驱动器运行的起点;如果是cluetr模式,那么就是需要选择一个worker节点作为driver驱动器的运行接地那
3、启动driver,启动driver之后,对提交的任务内容进行解析,生成DAG和task任务。
5、Excuttor注册和进行任务计算,master根据解析的资源,选择worker节点进行分配执行器的分配。
6、最后任务分配完后,进行释放资源