当前位置： 首页 > news >正文

Hadoop简介

news 来源：原创 2025/5/19 13:54:23

1. Hadoop简介

官网：http://hadoop.apache.org

1.1 Hadoop架构
  • Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN

请添加图片描述

1.2 Hadoop历史

请添加图片描述

  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS

  • 2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce

请添加图片描述

2、更多内容：

  • HDFS分布式文件系统
  • MR(MapReduce)离线数据处理
  • YARN集群资源管理

相关文章：

  • 【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》003-TypeScript 中的类
  • 转化率(漏斗分析)——mysql计算过程
  • 【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.3.1单节点安装（Docker与手动部署）
  • DDD该怎么去落地实现（4）多对多关系
  • PyTorch的.pt文件详解
  • 进程间通信（中）
  • 计算机科学技术领域的内卷现状与应对措施分析
  • 【软考-架构】备战2025软考
  • L2-005 集合相似度
  • 【EI/IEEE/Scopus检索】智能电网、AI与算法领域国际会议重磅来袭！学术探索的征程从未停歇！
  • Ubuntu20.04安装Redis
  • Scrapy：_RequestBodyProducer 类详解
  • 散列加载描述文件
  • centos7rpm升级openssh至9.8
  • 4.4 X.509证书
  • 小红的回文子串（B组）
  • 解决qt.network.ssl: QSslSocket::connectToHostEncrypted: TLS initialization failed
  • 浏览器访问https站点的过程
  • SuperMap iClient3D for WebGL 影像数据可视范围控制
  • docker和containerd从TLS harbor拉取镜像
  • 舞者王佳俊谈“与AI共舞”：像多了一个舞伴，要考虑它的“感受”
  • 全国林业院校校长论坛举行，聚焦林业教育的创新与突破
  • 既是工具又是食物，可食用机器人开启舌尖上的新科技
  • 江西贵溪：铜板上雕出的国潮美学
  • 北洋“修约外交”的台前幕后——民国条约研究会档案探研
  • 金价大跌！足金饰品每克一夜便宜14元，涨势是否已终结？