Mac安装hadoop

1.在terminal中检查是否安装brew命令 

brew --version

如果没有安装，在terminal中执行命令，安装brew

/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

安装完成后，再重新打开teminal brew --version进行检查

2.下载安装hadoop

brew install hadoop

通过hadoop version 检查是否安装完成

3.查看是否可以远程登录,在terminal中执行命令

ssh localhost 

如果显示不允许登录，在系统中设置允许远程登录，进行系统设置

4.查看hadoop安装目录

brew --prefix hadoop

5.修改hadoop配置信息

cd /opt/homebrew/opt/hadoop/libexec/etc/hadoop

修改vi core-site.xml文件

<configuration><property><name>fs.defaultFS</name><value>hdfs://localhost:8082</value></property><property><name>hadoop.tmp.dir</name><value>file:/opt/homebrew/opt/hadoop/datatmp</value></property>
</configuration>

修改hdfs-site.xml

<configuration><property><name>dfs.replication</name><value>1</value></property><!--不是root用户也可以写文件到hdfs--><property><name>dfs.permissions</name><value>false</value>    <!--关闭防火墙--></property><!--把路径换成本地的name坐在位置--><property><name>dfs.namenode.name.dir</name>  <value>file:/opt/homebrew/opt/hadoop/datatmp/dfs/name</value></property><!--在本地新建一个存放hadoop数据的文件夹，然后将路径在这里配置一下--><property><name>dfs.datanode.data.dir</name><value>file:/opt/homebrew/opt/hadoop/datatmp/dfs/data</value></property>
</configuration>

格式化namenode

输入hdfs namenode -format

修改yarn-site.xml

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
<property><name>yarn.resourcemanager.address</name><value>localhost:9000</value></property> 

6.启动hdfs

在/opt/homebrew/opt/hadoop/libexec/sbin目录输入

./start-dfs.sh 如报以下错误

执行命令

ssh-keygen -t rsa

cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

chmod og-wx ~/.ssh/authorized_keys

重新启动 

在sbin目录下输入./start-dfs.sh

在浏览器中输入http://localhost:9870/ 如果出现以下界面说明安装成功

使用 ./stop-dfs.sh 关闭服务

7.启动yarn

在sbin目录下输入./start-yarn.sh

如果启动的过程中出现错误

原因是jdk版本过高，安装jdk8.重新配置JAVA_HOME再启动，jdk下载地址

https://www.oracle.com/java/technologies/downloads/#java8

在浏览器输入 http://localhost:8088/ 出现下图页面成功

执行 ./stop-yarn.sh 关闭服务

参考：https://blog.csdn.net/zx1245773445/article/details/84875774