网站编辑文章wordpress标签图片
Hadoop版本
hadoop1.x版本
由三部分组成
- Common(辅助工具)
- HDFS(数据存储)
- MapReduce(计算和资源调度)
存在的问题
- JobTracker同时具备了资源管理和作业控制两个功能，成为了系统的最大瓶颈
- 采用了master/slave结构，master存在单点问题，一旦master出现故障，会导致整个集群不可用
- 采用了基于槽位的资源分配模型，将槽位分为了Map slot和Reduce slot两种，且不允许它们之间共享，导致一种槽位资源紧张和另一种闲置的情况
hadoop2.x版本
由四部分组成
- Common(辅助工具)
- HDFS(数据存储)
- Yarn(资源调度)
- MapReduce(计算)
yarn的出现就是为了将JobTracker的功能进行拆分为两个服务：一个全局的资源管理器ResourceManager和每个程序特有的ApplicationMaster。其中ResourceManager负责整个系统的资源管理和分配，ApplicationMaster负责单个应用程序的管理
参考文献
- hadoop版本