Hadoop简单的学习总结

简单的学习总结"/>

Hadoop简单的学习总结

1.什么是Hadoop？
Hadoop是一款进行数据处理和分析的软件，包含HDFS（分布式文件存储系统）,MapReduce（分布式计算框架），Yarn（分布式资源调度任务分配框架）。
Hadoop来源于谷歌2003-2004年发布的三篇论文，基于这三篇论文doug cutting( 来自 lucene )，用了两年业余时间，开发出来了 hdfs 和 mr 的代码雏形，2005年Hadoop项目进入apache项目基金会。
Hadoop特性：
①高容错性：Hadoop每个数据都有副本，也就是数据备份。
②高可靠性：Hadoop有故障恢复机制，如果有一个节点挂了，它所存储的数据会在另一个节点重生。
③高效性：Hadoop的mapreduce是并行运行的
④高扩展性：Hadoop集群几乎是可以扩展成千上万个

2.什么是HDFS?
HDFS是分布式文件存储系统（解决了海量数据存储问题）
hdfs文件系统架构为主从架构：
① NameNode：主节点，存储数据信息（元数据信息管理）
② DataNode：从节点，存储真实数据

hdfs分块存储：1.x版本默认分块大小为64M
2.x版本默认为128M
hdfs副本机制：为了容错每个block都会有副本，每个文件的block大小副本系数都是可配置的，应用程序可以指定某个文件的副本数目。副本系数可以在文件创建的时候指定，也可以在之后改变。
hdfs适合作甚：
一次写入，多次读出。（适合海量数据存储）
不支持修改，不适合做网盘。
hdfs读写数据流程：
写流程：①client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否存在，父目录是否存在，返回是否可以上传。
②client向NameNode请求第一个block该传输到哪一个DataNode服务器上。
③NamaNode根据配置文件中指定的备份数量及副本放置策略进行分配，返回可用的DataNode地址如：A,B,C;<