当前位置： 首页 > news >正文

【RHCE】自动化备份全网服务器数据平台

news 2025/8/14 15:16:37

项目背景知识

总体需求

  • 某企业里有一台Web服务器，里面的数据很重要，但是如果硬盘坏了数据就会丢失，现在领导要求把数据做备份，这样Web服务器数据丢失在可以进行恢复

  • 要求如下：

    • 每天00点整在Web服务器上按日期打包备份系统配置文件、网站程序目录及访问日志文件

    • 通过rsync命令推送到备份服务器上保存

    • 备份服务器定时清除旧记录

    • 搭建邮件告警平台

备份需求

  • 所有服务器的备份目录必须都为/backup。

  • 要备份的系统配置文件包括但不限于：

    • 定时任务服务的配置文件（/var/spool/cron/root） （适合Web和NFS服务器）。

    • 开机自启动的配置文件（/etc/rc.local） （适合Web和NFS服务器）。

    • 日常脚本的目录 （/server/scripts）。

  • Web服务器要求

    • Web站点目录假定为/var/html/www，如果没有，可以先模拟创建。

    • Web服务器访问日志路径假定为/app/logs，如果没有，可以先模拟创建。

    • Web服务器本地保留打包后的7天备份数据即可（本地留存不能多于7天，因为数据太多硬盘会满）。

  • 备份服务器要求

    • 保留最近7天所有备份数据，保留6个月内每周一的所有数据副本。

    • 要按照备份数据服务器内网IP为目录名称，备份的文件按照时间、名称为文件名称。

    • 需要确保备份的数据尽量完整准确，在备份服务器上对备份的数据是否完整进行检查。

    • 备份服务器每天早晨8:00把备份成功或失败结果信息发送到系统管理员邮箱里。

服务器说明备份目录目录说明备注
all server/backup备份目录统一服务器本地备份目录，便于管理
all server/var/spool/cron/root定时任务服务配置文件系统配置文件
all server/etc/rc.local开机自启动配置文件系统配置文件
all server/server/scripts日常脚本目录统一服务器本地脚本目录，便于管理
Web server/var/www/htmlweb服务器站点目录mkdir -p /var/www/html
Web server/app/logsweb服务器访问日志路径mkdir -p /app/logs

Rsync概述

作用：

  • rsync：remote sync(远程同步)，是一个在 Linux 和其他 Unix-like 系统上一个非常强大的命令行工具，用于计算机之间进行数据同步，可以当做文件复制工具，替代cp和mv命令，主页：https://rsync.samba.org/

特点

  • 同步速度快：由于使用sync算法，其只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。

  • 可以镜像保存整个目录树和文件系统

  • 可以很容易做到保持原来文件的权限、时间、软硬链接等

  • 无须特殊权限即可安装

  • 优化的流程，文件传输效率高

  • 可以使用rsh、ssh等方式来传输文件，当然也可以通过直接的socket连接

  • 支持匿名传输。

软硬件环境清单

--已知3台服务器主机名分别为web01、backup、nfs01,主机信息见下表。

主机名IP地址硬件软件
web01192.168.29.158

cpu:1颗2核

内 存：2GB

HDD：20GB 

VmWare17

Centos7.9

nginx1.20

rsync3.1.2

nfs01192.168.29.156

cpu:1颗2核

内 存：2GB

HDD：20GB

VmWare17

Centos7.9

nfs

rpcbind

rsync3.1.2

backup192.168.29.159

cpu:1颗2核

内 存：2GB

HDD：20GB

VmWare17

Centos7.9

mailx12.5

rsync3.1.2

--安装镜像：https://mirrors.aliyun.com/centos/7.9.2009/isos/x86_64/CentOS-7-x86_64-DVD-2207-02.iso

注意：项目环境搭建--按照规划，最小化部署系统，关闭防火墙，禁用SELinux，确保能够联网。

实施步骤

环境搭建

web01服务器环境搭建

--安装Centos7.9系统，替换yum源，连接xshell

--关闭防火墙和selinux，设置主机名

--设置静态ip

--激活网卡并安装所有需要使用的软件

--部署网站示例

[root@web01 ~]# wget -O /etc/yum.repos.d/epel.repo https://mirrors.aliyun.com/repo/epel-7.repo
[root@web01 ~]# yum  makecache
[root@web01 ~]# yum  install  nginx  -y
[root@web01 ~]# mkdir  -p  /www
[root@web01 ~]# cd  /www

--修改nginx的配置文件

[root@web01 www]# vim  /etc/nginx/nginx.conf

--测试：打开windows端浏览器输入服务端IP地址

nfs服务器环境搭建

--安装Centos7.9系统，替换yum源，连接xshell（步骤同上）

--关闭防火墙和selinux，设置主机名

--设置静态ip

--激活网卡并安装所有需要使用的软件

--部署共享存储，nfs01为服务端，web01为客户端

nfs01服务端操作:

[root@nfs01 ~]# yum  install  rpcbind  -y
[root@nfs01 ~]# yum  install  nfs-utils  -y
[root@nfs01 ~]# mkdir  /nfsfile
[root@nfs01 ~]# echo  "welcome to www.openlab.com" > /nfsfile/readme
[root@nfs01 ~]# chmod  -Rf  777  /nfsfile
[root@nfs01 ~]# vim  /etc/exports    # 编辑nfs配置文件，添加如下内容

[root@nfs01 ~]# systemctl start  rpcbind
[root@nfs01 ~]# systemctl enable  rpcbind
[root@nfs01 ~]# systemctl start  nfs-server
[root@nfs01 ~]# systemctl enable  nfs-server
Created symlink from /etc/systemd/system/multi-user.target.wants/nfs-server.service to /usr/lib/systemd/system/nfs-server.service.

web01客户端操作：

backup服务器环境搭建

--安装Centos7.9系统，替换yum源，连接xshell(同上)

--关闭防火墙和selinux，设置主机名

--设置静态ip

--激活网卡并安装所有需要使用的软件

[root@backup ~]# yum install vim  tree tar net-tools rsync mailx -y

--修改rsync配置文件

[root@backup ~]# vim /etc/rsyncd.conf

--配置文件设置

# 创建rsync账户及共享目录并修改目录属主为rsync
[root@backup ~]# useradd -M -s /sbin/nologin rsync
[root@backup ~]# mkdir /backup
[root@backup ~]# chown -R rsync /backup# 开机并启动服务
[root@backup ~]# systemctl enable --now rsyncd
[root@backup ~]# ps -ef | grep rsync
root       4025      1  0 22:12 ?        00:00:00 /usr/bin/rsync --daemon --no-detach
root       4027   2569  0 22:12 pts/1    00:00:00 grep --color=auto rsync# 创建rsync虚拟账户名和密码,并赋予密码文件600权限
[root@backup ~]# echo "rsync:rsync123" > /etc/rsync.password
[root@backup ~]# chmod 600 /etc/rsync.password

配置备份脚本

配置web01客户端本地备份脚本

--web01客户端主机需要打包备份的内容：

--编写备份web01服务器的脚本

[root@web01 ~]# vim  /server/scripts/backup.sh#!/bin/bash
# Date:2025-2-19
# Author:Andy
# Mail:andy@126.com
# Function: Regularly backup data from web servers
# Version: V1.0Date=$(date +%F_Week0%w)          # 定义时间方式  
Host_IP=$(ifconfig ens32 | awk '/inet / {print $2}')  # 获取IP,注意网卡名
Backup_Dir="/backup/"             # 本地备份路径
Backup_Server_IP=192.168.29.159   # 备份服务器的IP# 创建指定目录和IP的目录
[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP# 输出提示信息
echo ${Date} ${Host_IP} start backup ......# 按要求打包备份所有本地重要文件
cd / &&\
tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\
tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar zcf $Backup_Dir$Host_IP/www_${Date}_tar.gz www/ &&\
tar zcf $Backup_Dir$Host_IP/nginx_logs_${Date}_tar.gz var/log/nginx/ &&\# 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag# 把备份推送到备份服务器
rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup --password-file=/etc/rsync.password# 删除7天以前的所有本地备份数据
find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -fecho "Local backup successful, the backup files have been pushed to the backup server"

[root@web01 ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@web01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600

--测试：

注意：若遇到下列错误可以参考：rsync关于auth failed on module xxx的解决方法__src_新浪博客

@ERROR: auth failed on module backup
rsync error: error starting client-server protocol (code 5) at main.c(1656) [sender=3.1.2]
配置nfs01客户端本地备份脚本

nfs01客户端主机需要打包备份的内容：

#!/bin/bash
# Date:2025-2-19
# Author:Andy
# Mail:andy@126.com
# Function: Regularly backup data from nfs servers
# Version: V1.0Date=$(date +%F_Week0%w)          # 定义时间方式  
Host_IP=$(ifconfig ens32 | awk '/inet / {print $2}')  # 获取IP,注意网卡名
Backup_Dir="/backup/"             # 本地备份路径
Backup_Server_IP=192.168.29.159   # 备份服务器的IP
mount -l > /var/log/mount.log     # 挂载日志# 创建指定目录和IP的目录
[ ! -d $Backup_Dir/$Host_IP ] && mkdir -p $Backup_Dir/$Host_IP# 输出提示信息
echo ${Date} ${Host_IP} start backup ......# 按要求打包备份所有本地重要文件
cd / &&\
tar cf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz var/spool/cron &&\
tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz etc/rc.d/rc.local &&\
tar rf ${Backup_Dir}${Host_IP}/sys_file_bak_${Date}_tar.gz server/scripts/ &&\
tar zcf $Backup_Dir$Host_IP/nfs_${Date}_tar.gz nfsfile/ &&\
tar zcf $Backup_Dir$Host_IP/mount_logs_${Date}_tar.gz var/log/mount.log/ &&\# 给所有备份的压缩文件建立指纹，放入指纹库flag，后面会验证完整性
find ${Backup_Dir:-/tmp} -type f -name "*${Date}_tar.gz" |xargs md5sum >$Backup_Dir/$Host_IP/${Date}.flag# 把备份推送到备份服务器
rsync -az $Backup_Dir rsync@${Backup_Server_IP}::backup --password-file=/etc/rsync.password# 删除7天以前的所有本地备份数据
find ${Backup_Dir:-/tmp} -type f -name "*.tar.gz" -a -name "*flag*" -mtime +7|xargs rm -fecho "Local backup successful, the backup files have been pushed to the backup server"

[root@nfs01 ~]# vim /etc/rsync.password     # 客户端建立认证的文件密码如下：
rsync123                                    # 注意：只写密码[root@nfs01 ~]# chmod 600 /etc/rsync.password   # 密码认证文件必须为600
[root@nfs01 ~]# ls -ld  /etc/rsync.password 
-rw-r--r-- 1 root root 9 Feb 19 16:40 /etc/rsync.password

--测试

[root@nfs01 ~]# bash  /server/scripts/backup.sh # 在backup服务器中可以看到推送的数据
[root@backup ~]# ls  /backup/
192.168.29.158  192.168.29.156

配置定时任务

--web01服务器编辑定时任务，实现每天00:00定时备份本地数据，并推送到Rsync服务器上

# 查看crond服务状态，默认已安装
[root@web01 ~]# systemctl status  crond
● crond.service - Command SchedulerLoaded: loaded (/usr/lib/systemd/system/crond.service; enabled; vendor preset: enabled)Active: active (running) since Thu 2025-02-20 09:00:05 CST; 11min agoMain PID: 1119 (crond)CGroup: /system.slice/crond.service└─1119 /usr/sbin/crond -n
…………………………………………………………# 注意若未安装可执行：
[root@web01 ~]# yum  install  crontabs

--编辑定时任务

[root@web01 ~]# crontab  -e   
#添加：
# crond-id-001:data backup
00 00 * * * /bin/sh /server/scripts/backup.sh >/dev/null 2>&1 # 若出现定时任务如下信息不用处理：
no crontab for root - using an empty one
crontab: installing new crontab

--nfs01服务器过程同上

--backup服务器编写脚本，实现删除180天前的所有备份数据，但保存每周一的

[root@backup ~]# mkdir -p /server/scripts
[root@backup ~]# cd /server/scripts/
[root@backup scripts]# vim /server/scripts/del_bak_data.sh#!/bin/bash
# Date:2025-2-20
# Author:Andy
# Mail:andy@126.com
# Function: Delete all backup data from 180 days ago, but save every Monday
# Version: V1.0Backup_Dir="/backup/"
# 删除7天前的压缩包和flag文件，但是每周一的不删
find ${Backup_Dir:-/tmp} -type f  -name "*tar.gz*" ! -name "*Week01*" -o -name "*flag*" -mtime +7|xargs rm -f# 删除180天前的所有压缩包和flag文件
find ${Backup_Dir:-/tmp} -type f -name "*tar.gz*" -name "*flag*" -mtime +180|xargs rm -f# 注意：Backup_Dir:-/tmp表示检查环境变量 Backup_Dir 是否已设置。如果设置了，就使用其值；如果没有设置，就使用默认值 /tmp

--backup服务器配置定时任务，实现服务端180天前数据自动删除

[root@backup ~]# crontab -e
#添加：
# crond-id-003:data backup
00 00 * * * /bin/sh /server/scripts/del_bak_data.sh >/dev/null 2>&1

数据传输完整性验证与监控告警

验证数据完整性

--backup服务端针对客户端备份时的md5指纹数据，利用MD5命令进行验证，完成数据传输过程完整性验证。

[root@backup scripts]# vim send_mail.sh #!/bin/bash
# Date:2025-2-20
# Author:Andy
# Mail:andy@126.com
# Function: Verify the integrity of backup files
# Version: V1.0Date=$(date +%F_Week0%w)
Backup_Dir="/backup/"
Check_Log="/tmp/bak.log_$(date +%F)"    # 定时检查备份结果的文件
Admin_Mail=邮箱    # 管理员邮箱find $Backup_Dir -type f -name "${Date}.flag"|xargs md5sum -c >> $Check_Logif [ -n "cat $Check_Log" ]
thenmail -s "$Date backup data info" $Admin_Mail < $Check_Log
elseecho "$Date backup data error,pls check it." > $Check_Log    # 如果结果文件不存在，日志信息变化，报错mail -s "$Date backup data info" $Admin_Mail < $Check_Log
fi
cp $Check_Log{,.ori} && > $Check_Log

配置邮件告警

--安装邮件服务

[root@backup ~]# yum  install  mailx  -y

--配置qq邮箱ssl证书

[root@backup ~]# mkdir -p /root/.certs
[root@backup ~]# cd  /root/.certs[root@backup .certs]# echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne '/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p' > ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt[root@backup .certs]# certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt

--配置邮件服务

[root@backup .certs]# vim  /etc/mail.rc
# 最后一行后添加以下内容：set from=邮箱
set smtp=smtps://smtp.qq.com:465         # ssl端口默认465
set smtp-auth-user=邮箱
set smtp-auth-password=授权码  # 授权码
set smtp-auth=login
set nss-config-dir=/root/.certs/     # 设置证书路径
set ssl-verify=ignore                # 启用加密ssl传输in

--测试邮件服务

[root@backup ~]# echo  "testmail"  |  mail  -s  "testmail"  邮箱[root@backup ~]# bash /server/scripts/send_mail.sh

http://www.dtcms.com/a/328097.html

相关文章：

  • 36-综合案例开发-2
  • Chrome插件开发【manifest.json】
  • 【传奇开心果系列】Flet框架桌面程序组件Custom Ribbon自定义组件模板
  • Class34锚框
  • 分享单位开通固定公网IP，不需要找运营商申请
  • sqli-libs通关教程（41-50)
  • lesson36：MySQL从入门到精通：全面掌握数据库操作与核心原理
  • Elasticsearch JS 客户端子客户端（Child Client）实践指南
  • DAY38作业（补）
  • CTO如何通过录音转写和音频降噪，提升企业远程协作效率？
  • Secure 第四天作业
  • Linux环境部署RocketMQ
  • C++算法·排序
  • 第六十四章：AI的“觅食”之路：数据采集器设计与多源数据获取
  • DL-FWI 的三项主要任务: 网络构建, 数据生成, 训练控制
  • 跑腿APP开发未来趋势：同城O2O系统源码在智能调度与个性化中的进化
  • Spring Boot项目中调用第三方接口
  • HCIP项目之OSPF综合实验
  • Flux.1系列模型解析--Kontext
  • 8月12号打卡
  • 【Leetcode hot 100】560.和为K的子数组
  • 无人机航拍数据集|第13期 无人机城市斑马线目标检测YOLO数据集963张yolov11/yolov8/yolov5可训练
  • 为什么304不锈钢仍会生锈？
  • Ubuntu20.06环境下安装VS Code及中文设置方法
  • CSRF 攻击
  • 【机器学习】什么是DNN / MLP（全连接深度神经网络, Deep Neural Network / Multilayer Perceptron）？
  • 【Python】支持向量机SVM
  • Web攻防-业务逻辑篇Fuzz技术数据并发条件竞争JS挖掘参数盲猜Turbo插件SRC
  • c#联合Halcon进行OCR字符识别（含halcon-25.05 百度网盘）
  • 下一代防火墙部署