【并行分布计算】Hadoop单机分布搭建
Hadoop单机分布搭建
环境：VMware Workstation虚拟机+centos7镜像+MobaXterm远程连接工具
- 为了使机器都处于同一个局域网中，先要修改机器的ip地址分配方式为固定ip，并为其固定分配一个ip地址。
[root@localhost ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
问题：修改ip地址后，网络无法正常链接
解决方法：查看VMware上的DHCP设置中起始IP地址和结束IP地址范围，以及对应网关的IP地址，防止设置IP地址时选错IP地址范围。
修改后网络链接正常：
2.修改主机名，方便辨认机器
[root@localhost ~]# hostnamectl set-hostname hadoop01
修改主机名后需要重启虚拟机：
3. 配置网络映射 /etc/hosts
[root@hadoop01 ~]# vi /etc/hosts
4. 重启网络服务
[root@hadoop01 ~]# service network restart
5.安装ssh服务
（1）查看是否安装ssh
[root@hadoop01 ~]# rpm -qa | grep ssh
（2）启动ssh服务
[root@hadoop01 ~]# service sshd start
6.关闭防火墙
问题：
解决方法：centos7后是使用的基于iptable的systemctl stop firewalld
[root@hadoop01 ~]# yum install iptables-services
[root@hadoop01 ~]# systemctl stop firewalld
7.安装jdk
（1）[root@hadoop01 software]# tar -zxvf jdk-8u161-linux-x64.tar.gz
（2）配置环境变量
[root@hadoop01 servers]# vi /etc/profile
（3）使配置文件生效
[root@hadoop01 servers]# source /etc/profile
（4）查看是否配置成功
[root@hadoop01 servers]# java -version
8. 安装hadoop
[root@hadoop01 software]# tar -zxvf hadoop-2.7.6.tar.gz
（1）修改配置文件
[root@hadoop01 software]# vi /etc/profile
（2）使配置文件生效
[root@hadoop01 software]# source /etc/profile
（3）查看是否配置成功
[root@hadoop01 software]# hadoop version
9.测试本地模式
（1）创建input文件夹作为方要测试的输入文件
（2）将hadoop目录里的etc/hadoop目录下的所有.xml结尾的文件复制到input里
[root@hadoop01 hadoop-2.7.6]# cp ./etc/hadoop/*.xml ./input
例子一:grep
该例子是搜索input文件夹内所有文件，找到以dfs开始后面跟着字母a-z的单词，并输出在output里。
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar grep input output ‘dfs[a-z.]+’
例子二: wordcount
该例子是搜索input文件夹内所有文件，统计所有单词出现的次数，并输出在output/wordcount文件夹里。
[root@hadoop01 hadoop-2.7.6]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.6.jar wordcount input output/wordcount
