当前位置： 首页 > news >正文

Hadoop简介

news 2025/7/5 16:43:55

1. Hadoop简介

官网：http://hadoop.apache.org

1.1 Hadoop架构
  • Hadoop由三个模块组成：分布式存储HDFS、分布式计算MapReduce、资源调度引擎YARN

请添加图片描述

1.2 Hadoop历史

请添加图片描述

  • Hadoop作者Doug Cutting

  • Apache Lucene是一个文本搜索系统库

  • Apache Nutch作为前者的一部分，主要包括web爬虫、全文检索；2003年“谷歌分布式文件系统GFS”论文，2004年开源版本NDFS

  • 2004年“谷歌MapReduce”论文，2005年Nutch开源版MapReduce

请添加图片描述

2、更多内容：

  • HDFS分布式文件系统
  • MR(MapReduce)离线数据处理
  • YARN集群资源管理
http://www.dtcms.com/a/40904.html

相关文章：

  • 【朝夕教育】《鸿蒙原生应用开发从零基础到多实战》003-TypeScript 中的类
  • 转化率(漏斗分析)——mysql计算过程
  • 【实战 ES】实战 Elasticsearch：快速上手与深度实践-1.3.1单节点安装（Docker与手动部署）
  • DDD该怎么去落地实现（4）多对多关系
  • PyTorch的.pt文件详解
  • 进程间通信（中）
  • 计算机科学技术领域的内卷现状与应对措施分析
  • 【软考-架构】备战2025软考
  • L2-005 集合相似度
  • 【EI/IEEE/Scopus检索】智能电网、AI与算法领域国际会议重磅来袭！学术探索的征程从未停歇！
  • Ubuntu20.04安装Redis
  • Scrapy：_RequestBodyProducer 类详解
  • 散列加载描述文件
  • centos7rpm升级openssh至9.8
  • 4.4 X.509证书
  • 小红的回文子串（B组）
  • 解决qt.network.ssl: QSslSocket::connectToHostEncrypted: TLS initialization failed
  • 浏览器访问https站点的过程
  • SuperMap iClient3D for WebGL 影像数据可视范围控制
  • docker和containerd从TLS harbor拉取镜像
  • AI学习第六天-python的基础使用-趣味图形
  • 基于Linux系统的物联网智能终端
  • 文字描边实现内黄外绿效果
  • 如何正确理解mAP、精度、召回率等概念
  • 北京大学DeepSeek提示词工程与落地场景（PDF无套路免费下载）
  • 考研出分24小时，人类精神状态图鉴
  • 【Mac电脑本地部署Deepseek-r1：详细教程与Openwebui配置指南】
  • 本地部署SenseVoice（包括离线设备操作）
  • Golang——内存（内存管理、内存逃逸、垃圾回收 (GC) 机制）
  • 什么是标记 PDF（Tagged PDF）？