您的位置:首页 > 房产 > 家装 > 二次开发需要源代码吗_绍兴h5建站_如何制作网页设计_关键词挖掘工具有哪些

二次开发需要源代码吗_绍兴h5建站_如何制作网页设计_关键词挖掘工具有哪些

2025/3/5 4:32:43 来源:https://blog.csdn.net/Freddycsf/article/details/145977897  浏览:    关键词:二次开发需要源代码吗_绍兴h5建站_如何制作网页设计_关键词挖掘工具有哪些
二次开发需要源代码吗_绍兴h5建站_如何制作网页设计_关键词挖掘工具有哪些

spark的standalone模集群模式是spark自带的一种集群模式,主要就是适用于进行测试环境的测试工作,以及一些数据小范围的测试使用,一般不用于生产环境。
standalone模式洪有 master,worker,driver,excutor,w无需依赖其它。
其中master指的就是主节点,管理对worker从节点资源的分配和管理,决定Driver和xcutor的运行位置
worker从节点主要是接受来自master主节点的指示启动Excutor
driver驱动器是负责管理任务的DAU,负责调度运行task任务,取决于standalone是那种模式,如果是clinet的就是,就是提交大客户端机器上,如果是standaone on clusetr,就是会运行在某个从节点上。
excutor执行器是负责执行task任务的。

上述讲的其实就是spark任务提交所涉及到的组件啊,那么具体的步骤就是
1、Spark-submit提交需要运行的任务,涉及大参数包括claster类,以及运行模型是master,以及执行的内存和core等;
2、master接受到任务后选择一个work启动driver驱动器没,如果选择的事cline客户端模式,俺就是master所在的客户端作为driver驱动器运行的起点;如果是cluetr模式,那么就是需要选择一个worker节点作为driver驱动器的运行接地那
3、启动driver,启动driver之后,对提交的任务内容进行解析,生成DAG和task任务。
5、Excuttor注册和进行任务计算,master根据解析的资源,选择worker节点进行分配执行器的分配。
6、最后任务分配完后,进行释放资源

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com