Hadoop集群---运维管理和技巧

一. daemon 守护进程管理

1. NameNode守护进程管理

hadoop-daemon.sh start namenode

2. DataNode守护进程管理

hadoop-daemon.sh start datanode

3. ResourceManager守护进程管理

yarn-daemon.sh start resourcemanager

4. NodeManager守护进程管理

yarn-daemon.sh start nodemanager

 

二. 查看日志 

$ HADOOP_HOME/logs/hadoop-hadoop-namenode-hadoop1.log
$ HADOOP_HOME/logs/yarn-hadoop-resourcemanager-hadoop1.log
$ HADOOP_HOME/logs/hadoop-hadoop-datanode-hadoop1.log
$ HADOOP_HOME/logs/yarn-hadoop-nodemanager-hadoop1.log

 

三. 清理临时文件

HDFS的临时文件路径：${hadoop.tmp.dir}/mapred/staging

本地临时文件路径：${mapred.local.dir}/mapred/local

定期执行负载均衡

脚本：sbin/start-balancer.sh -t 10%

-t：HDFS达到平衡状态的磁盘使用率偏差值。如果机器与机器之间磁盘使用率偏差小于10%，那么我们就认为HDFS集群已经达到了平衡的状态。

四. 文件系统检查 

hdfs fsck /

 

五. 元数据备份

hdfs dfsadmin -fetchImage fsimage.backup