大数据-mapreduce-shuffle阶段包含的步骤-小记

编程入门 行业动态 更新时间:2024-10-26 08:31:07

大数据-mapreduce-shuffle阶段包含的步骤-<a href=https://www.elefans.com/category/jswz/34/1764832.html style=小记"/>

大数据-mapreduce-shuffle阶段包含的步骤-小记

partition(分区)

对map输出的key,value    的list进行分区

sort(排序)

对各个分区后的数据进行排序

combiner(优化)

在map端进行数据的局部聚合

group(合并)

将相同key的key作为唯一的key
将相同key对应的value提取出来组成一个value的list

更多推荐

大数据-mapreduce-shuffle阶段包含的步骤-小记

本文发布于:2023-07-28 20:56:02,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/1312628.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:小记   步骤   阶段   数据   shuffle

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!