当前位置：首页 > news >正文

Spark；scp命令，rsync命令，ssh命令

news 来源：原创 2025/5/24 9:22:06

hadoop的运行模式

本地运行：在一台单机上运行，没有分布式文件系统，直接读写本地操作系统的文件系统。特点：不对配置文件进行修改，Hadoop 不会启动

伪分布式：也是在一台单机上运行，但用不同的 Java 进程模仿分布式运行中的各类节点，特点：Hadoop 启动的这些守护进程都在同一台机器上运行，是相互独立的 Java 进程。

完全分布式：数据存储在HDFS，多台服务器工作，企业中大量使用

scp命令

scp命令：可实现服务器与服务器之间的数据拷贝

-r 表示递归拷贝

$pdir/$fname ：要拷贝的文件路径 / 名称

$user@host:$pdir/$fname ：目的地用户@主机:目的地路径 / 名称

eg命令：scp -r /opt/module/jdk1.8.0_212/ root@hadoop102:/opt/module/jdk1.8.0_212/

rsync命令

rsync 主要用于备份和镜像

rsync和scp的区别是rsync只对差异文件做更新，而scp是把所有文件都复制过去。故rsync效率更高

-a ：归档拷贝，尽可能让拷贝的

-v ：显示拷贝过程

$pdir/$fname ：要拷贝的文件路径 / 名称

命令：rsync -av /opt/conf/1.txt root@roothadoop102:/opt/conf/

xsync脚本集群之间的同步

（1）在/root/bin目录下创建xsync文件。

（2）在该文件中编写如下代码。这个部分的代码不需要会写，能看懂，了解即可。

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi
#2. 遍历集群所有机器
for host in hadoop100 hadoop101 hadoop102
do
    echo ====================  $host  ====================
    #3. 遍历所有目录，挨个发送
    for file in $@
    do
        #4. 判断文件是否存在
        if [ -e $file ]
            then
                #5. 获取父目录
                pdir=$(cd -P $(dirname $file); pwd)
                #6. 获取当前文件的名称
                fname=$(basename $file)
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            else
                echo $file does not exists!
        fi
    done
done

（3）修改执行权限。此时，我们去查看文件，可以看到它的颜色是灰色的，不具备执行权限（如下图）。