大数据Haoop之HDFS的SN合并原理

编程入门 行业动态 更新时间:2024-10-26 00:26:37

SN合并方式有两种:
SN主动通知NN,合并fsimage和edits
当edits文件到达我们设置的大小时,NN与SN通信,进行合并

edits.new文件:
1.标记上一次操作是完整结束的
2.在edits与fsimage合并期间,负责记录用户新的操作的指令

三个服务节点发生故障的情况:
NN:集群无法使用
SN:无法完成合并工作,edits会一直变大,在服务器接受的范围内,可以正常使用,超过承受范围,无法使用
DN:由NN将发生故障的DN上的元文件的所有副本复制到其他的DN,前提是DN能够接受的数据大小要大于最大的副本数

合并的原理
1.当edits文件到达相应的大小时,NN与SN通信,请求合并
2.在合并前,edits生成edits.new文件
3.在SN中,SN将edits与fsimage进行合并,产生一个新的文件:fsimage.ckpt
4.在合并完成以后,fsimage.ckpt返回到NN
5.在NN中,将原来的edits和fsimage删除
6.NN将edits.new重命名为edits,fsimage.ckpt重命名为fsimage
7.此次合并结束,等待下次合并,一直循环

更多推荐

原理,数据,HDFS,Haoop,SN

本文发布于:2023-05-25 10:38:22,感谢您对本站的认可!
本文链接:https://www.elefans.com/category/jswz/34/226412.html
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。
本文标签:原理   数据   HDFS   Haoop   SN

发布评论

评论列表 (有 0 条评论)
草根站长

>www.elefans.com

编程频道|电子爱好者 - 技术资讯及电子产品介绍!