钓鱼平台怎么制作_潍坊网络公司_济宁百度推广公司_软件开发公司简介
2024/12/27 11:45:49
来源：https://blog.csdn.net/qq_14815605/article/details/144273194
浏览:
次
关键词：钓鱼平台怎么制作_潍坊网络公司_济宁百度推广公司_软件开发公司简介
钓鱼平台怎么制作_潍坊网络公司_济宁百度推广公司_软件开发公司简介
groupByKey
- 操作：将相同键的所有值收集到一个集合中。
- 实现：不会在map端进行局部聚合，而是直接将所有相同键的数据传输到reduce端进行聚合。
- 缺点：由于没有本地聚合，
groupByKey会导致大量的数据传输和shuffle，尤其在数据量较大时，可能会造成内存消耗和性能瓶颈。
reduceByKey
- 操作：通过指定的聚合函数对相同键的值进行聚合。
- 实现：
reduceByKey在map端就开始进行本地聚合（combine），减少了需要传输到reduce端的数据量。只有在map端聚合后，reduce端才会进行最终的汇总操作。 - 优点：通过在map端进行局部聚合，极大减少了shuffle的压力。map端的机器数量通常大于reduce端，因此通过在map端的聚合，可以平均分配计算压力，提高整体效率。
