上海网站优化案例最强大的搜索引擎

1.基础知识介绍 

Flume采集日志。Sqoop采集结构化数据，比如采集数据库。

存储到HDFS上。

YARN资源调度，每台服务器上分配多少资源。

Hive是基于Hadoop的一个数据仓库工具，提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。MapReduce将HDFS数据分割，整合键值对，再整到HDFS。

Spark是一款大数据处理框架，其开发初衷是改良Hadoop MapReduce的编程模型和提高运行速度。Spark主要面向批处理需求，但也支持流处理，因其优异的性能和易用的接口，Spark已经是批处理界绝对的王者。

Kafka也是一种面向大数据领域的消息队列框架，一个企业经常拆分出很多不同的应用系统，系统之间需要建立数据流管道。

 2.具体流程

 使用虚拟机新建了centos7的linux系统，在上面部署的

一、环境准备

1.上传下载的jdk包

 2.解压JDK安装包

 3.配置环境变量

 

4.配置免密登录，ip改成自己的ip

 二、配置Hadoop

 1.上传下载的Hadoop包

2.进入/opt/server/hadoop-3.1.0/etc/hadoop 目录下，修改以下配置，都是vim打开修改

 

 3.初始化并启动HDFS

 

 

 我的是http://192.168.59.100:9870/

三、Hadoop(YARN)环境搭建

1.修改配置文件，进入/opt/server/hadoop-3.1.0/etc/hadoop 目录下，修改以下配置

 2.启动服务

在这个文件夹下面cd /opt/server/hadoop-3.1.0/sbin/

 

 在当前目录下启动

 

 

 

访问地址为：http://192.168.59.100:8088/