Hadoop 四大组件总结

组件总结"/>

Hadoop 四大组件总结

Hadoop 的四大组件：common、HDFS、MapReduce、YARN

common(工具类)：

包括 Hadoop 常用的工具类，由原来的 Hadoopcore 部分更名而来。主要包括系统配置工具 Configuration、远程过程调用 RPC、序列化机制和 Hadoop 抽象文件系统 FileSystem 等。它们为在通用硬件上搭建云计算环境提供基本的服务，并为运行在该平台上的软件开发提供了所需的 API。

1. org.apache.hadoop.conf，配置相关类。
2. org.apache.hadoop.fs，Hadoop文件系统。
3. org.apache.hadoop.io，Hadoop I/O系统。
4. org.apache.hadoop.ipc，Hadoop远程过程。
5. 其他包，org.apache.hadoop.log，日志。org.apache.hadoop.metrics，用于度量统计和分析的。org.apache.hadoop.http和org.apache.hadoop，Hadoop对网络层次相关的封装。org.apache.hadoop.util，Common中的公共方法类，checkSum校验和的验证方法就包含于此。
    

Hadoop Distributed File System(HDFS)：

Hadoop 实现了一个分布式的文件系统，HDFS 为海量的数据提供了存储。HDFS 是基于节点的形式进行构建的，里面有一个父节点 NameNode，他在机器内部提