当前位置: 首页 > news >正文

单节点hadoop搭建

下载Hadoop-bin.*.tar.gz

解压文件,配置HADOOP_HOME

编辑文件etc/hadoop/hadoop-env.sh配置JAVA_HOME
配置etc/hadoop/core-site.xml文件

<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://dachengnode1:9000</value>
        </property>
        <property> 
                //指定tmp目录的位置 tmp目录提前创建好
                <name>hadoop.tmp.dir</name>
                <value>/opt/behave/hadoop-2.8.5/tmp</value>
        </property>
</configuration>

添加配置etc/hadoop/hdfs-site.xml文件

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>

添加配置etc/hadoop/mapred-site.xml

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

添加配置etc/hadoop/yarn-site.xml

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
</property>

格式化hdfs

bin/hdfs namenode -format

启动hads

 $ sbin/start-dfs.sh

启动yarn

$ sbin/start-yarn.sh

相关文章:

  • zookeeper笔记
  • MySQL生成UUID并去除-
  • 智能优化算法应用:基于广义正态分布算法无线传感器网络(WSN)覆盖优化 - 附代码
  • Python-炸弹人【附完整源码】
  • docker常见知识
  • 【LeetCode:1466. 重新规划路线 | DFS + 图 + 树】
  • 今日问题:解决最新Chrome和chromedriver版本对不上的问题
  • 算法设计与实现--动态规划篇
  • 外包干了2个月,技术倒退2年。。。
  • 最新版IDEA专业版大学生申请免费许可证教学(无需学校教育邮箱+官方途径+非破解手段)
  • 【Centos】在CentOS上搭建Squid代理服务器详解
  • 熬夜会秃头——Beta冲刺总结随笔
  • 基于jsp+servlet的图书管理系统
  • mybatis中<association> 和 <collection>
  • 12月7日作业
  • 使用K-means把人群分类
  • 无公网IP环境如何SSH远程连接Deepin操作系统
  • SSL证书代理
  • 一对一聊天
  • 优化记录 -- 记一次搜索引擎(SOLR)优化
  • 白宫启动“返乡计划” ,鼓励非法移民自愿离开美国
  • 墨西哥宣布就“墨西哥湾”更名一事起诉谷歌
  • 洲际酒店:今年第一季度全球酒店平均客房收入同比增长3.3%
  • 商务部再回应中美经贸高层会谈
  • 2025江西跨境电子商务发展交流会召开,探索行业发展新趋势
  • 4月深圳新房、二手房成交同比均上涨,“5月有望延续积极向好的发展态势”