当前位置: 首页 > news >正文

丽水市企业网站建设 微信营销 影视拍摄找营销推广团队

丽水市企业网站建设 微信营销 影视拍摄,找营销推广团队,wordpress 调用描述,浙江五联建设有限公司网站一:概述 Hadoop 是一个开源的分布式计算框架,广泛应用于大数据处理。伪分布式集群是 Hadoop 的一种部署模式,它可以在单台机器上模拟集群环境,适合初学者进行学习和实验。本文将详细介绍如何在单台机器上搭建 Hadoop 3.4.1 的伪分…

一:概述

        Hadoop 是一个开源的分布式计算框架,广泛应用于大数据处理。伪分布式集群是 Hadoop 的一种部署模式,它可以在单台机器上模拟集群环境,适合初学者进行学习和实验。本文将详细介绍如何在单台机器上搭建 Hadoop 3.4.1 的伪分布式集群。

二:具体说明

        2.1 环境准备

需要安装好虚拟机CentOS8,并且已经配置了SSH远程连接,以便于更好的操作。

我演示的是在CentOS8中配置伪分布式集群搭建。

        首先,我们需要在虚拟机中配置java环境,详细过程如下所示:
 

  首先将jdk的安装包,通过文件传输工具传输到/usr/local/soft/jdk中,让后将其解压的jdk8目录中

接下来在/etc/profile中配置环境变量

vim /etc/profile

在文件中添加如下的内容

JAVA_HOME路径为jdk的解压根目录。

配置完成之后,保存。

为了能够使这个配置生效,需要使用以下的命令来重新加载这个配置文件。

source /etc/profile

接着查看是否配置成功,这里和Win中查看方法相同

java -version

如果出现以下图片的内容,则证明配置成功。

如果没有,说明配置文件中配置的路径有误或者未执行重新加载配置文件的命令。

 2.2 搭建Hadoop伪分布式集群

        将hadoop的安装包上传到虚拟机的/opt目录中

   配置免密登录

        修改主机名

vim /etc/hostname
# 或者使用以下的命令
hostnamectl set-hostname master

将默认的主机名改为master,保存并退出

接下来修改hosts文件

vim /etc/hosts

 接着重启虚拟机,并生成公钥和私钥对。

cd .ssh
ssh-keygen -t rsa

        接着使用下面命令进行免密登录配置

ssh-copy-id master

        利用以下的命令检查免密登录是否成功。

ssh master

        如果出现上图中的内容,则说明配置免密登录成功了。

配置HDFS

        将上传到/usr/local/soft/hadoop/hadoop3.4.1中的压缩包解压到/usr/local/soft/hadoop/hadoop3.4.1/中

通过以下的命令配置hadoop-env.sh文件

cd /usr/local/soft/hadoop/hadoop3.4.1/hadoop3.4.1/etc/hadoop
cd /etc/hadoop

         接着去编辑这个hadoop目录中的hadoop-env.sh文件,在里面添加JDK的家目录

        通过以下的步骤去进行。

如果你不知道这个已经配置好的jdk家目录中,可以使用以下的命令打印出这个路径

echo $JAVA_HOME
vim hadoop-env.sh

        

 然后保存并且退出。

        接下来配置core-site.xml
vim core-site.xml
<configuration><property><name>fs.defaultFS</name><value>hdfs://master:8020</value></property><property><name>hadoop.tmp.dir</name><value>/usr/local/soft/hadoop/hadoop3.4.1/hadoop3.4.1/data</value></property>
</configuration>

        再接下来配置hdfs-site.xml

vim hdfs-site.xml
<configuration><property><name>dfs.replication</name><value>1</value></property>
</configuration
        接下来,格式化HDFS

hdfs namenode -format

        2.3 HDFS的启动和停止

        启动之前,需要做一些准备

   进入到sbin目录中,修改四个文件

对于start-dfs.sh和stop-dfs.sh文件,尾部添加如下的参数
cd /usr/local/soft/hadoop/hadoop3.4.1/hadoop3.4.1/sbin
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
[root@master sbin]# vim start-dfs.sh
[root@master sbin]# vim stop-dfs.sh
[root@master sbin]# vim start-yarn.sh
[root@master sbin]# vim stop-yarn.sh
     
对于start-yarn.sh和stop-yarn.sh文件,尾部添加下列参数:

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
/usr/local/soft/hadoop/hadoop3.4.1/hadoop3.4.1
# 启动命令
sbin/start-dfs.sh
# 关闭命令
sbin/stop-dfs.sh

        

        在 Hadoop 的配置文件中定义运行服务的用户。编辑   

$HADOOP_HOME/etc/hadoop/hadoop-env.sh   文件,添加以下内容:bashexport HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"


        注意:虽然这里使用了   root   用户,但在实际生产环境中,建议使用非   root   用户来运行 Hadoop 服务,以增强安全性

    

        我们发现,现在执行,刚才那个错误已经没有了,但是又出现了一个错误。这个要去将/etc/hosts中以下内容注释掉

vim /etc/hosts

        接着杀死,已经启动的进程,然后重新启动,看是否还有这个错误/警告。

        重现启动,发现已经没有了警告。

        

        

        2.4 YARN的相关配置 
        (1)配置yarn-site.xml

vim yarn-site.xml
<configuration><property><name>yarn.resourcemanager.hostsname</name><value>master</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>
</configuration>


        (2)配置mapred-site.xml

        把mapred-site.xml.template修改成mapred-site.xml,如果不是则不需要修改

# cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<configuration>
<property><name>mapreduce.framework.name</name><value>yarn</value>
</property>
</configuration>

        启动和停止YARN

启动命令:

start-dfs.sh

 暂停命令:

stop-dfs.sh

同理dfs的启动,若不能成功启动,则需退回/opt/hadoop目录下使用sbin/start-yarn.sh或sbin/stop-yarn.sh

        

        在 Hadoop 的配置文件中定义运行服务的用户。编辑   $HADOOP_HOME/etc/hadoop/hadoop-env.sh   文件,添加以下内容:export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

        

vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

        接下来,就可以顺利启动成功了!!

        

                2.5 web页面访问管理

首先需要关闭防火墙,我们这里直接关闭,一般开发中,只是开放指定端口

[root@master hadoop3.4.1]# systemctl stop firewalld
[root@master hadoop3.4.1]# systemctl disable firewalld 
Removed /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.

        接下来去访问HDFS和YARN的Web界面

http://master:9870/
http://master:8088/

        

          dfs.namenode.http-address  :NameNode 的 HTTP 服务端口(默认为   50070  ,Hadoop 3.x 中为   9870  )。•   dfs.datanode.http.address  :DataNode 的 HTTP 服务端口(默认为   50075  ,Hadoop 3.x 中为   9864  )

http://www.dtcms.com/a/476391.html

相关文章:

  • 电子商务网站推广策略专业网站建设定制公司
  • 自己怎么给网站做优化排名云电脑免费体验30天
  • 一个网站需要什么怎么在小程序里开店流程
  • 废旧回收做哪个网站好怎样做已有网站的编辑维护
  • 广西最优秀的品牌网站建设公司1688官网首页
  • 可以自己做装修效果图的网站重庆的汽车网站建设
  • 定制网站开发系统如何做软件类型的网站
  • 绍兴网站制作计划佛山网站建设方案咨询
  • 苏宁易购网站建设分析东莞阿里巴巴网站建设
  • 网站建设与管理管理课程湖南网站建设营销推广
  • 海南 网站制作flash源文件网站
  • 网站到期后如何转域名银川哪里做网站
  • 在深圳做it的要做网站网站吗下载网页制作模板
  • 网站如何做才能被360收录做文交所的都有哪些网站
  • 做蛋糕视频的网站网站底部版权信息代码
  • 外贸购物网站模板甘肃兰州建筑网
  • 国外免费源码共享网站网站怎么做查询功能
  • wordpress 移动站做竞争小的网站
  • 湖南省建设工程信息网站搜狗站长
  • 珠海手机网站开发网络营销推广方法和工具
  • 网站开发生命周期模型有限公司破产债务怎么办
  • 关于学校网站建设做书的网站
  • 网站建设高级开发语言专业的企业小程序开发公司
  • 沈阳行业网站凌风wordpress百度云
  • 包头市建设局网站建设的比较好的档案馆网站
  • 杭州钱塘区网站建设合肥企业快速建站
  • 网站主页的布局方式wordpress用php版本号
  • 推荐好的网站或网页wordpress 二级域名设置
  • 4a级景区网站建设重庆建工建设工程信息网
  • 珠海一元夺宝网站建设做公司官网要服务器吗