当前位置： 首页 > news >正文

day021-定时任务

news 来源：原创 2025/6/22 3:22:59

文章目录

  • 1. cron
    • 1.1 检查是否安装
    • 1.2 检查是否开机自启动
    • 1.3 配置文件与相关命令
    • 1.4 配置文件格式
  • 2. 案例
    • 2.1 同步时间
    • 2.2 定时备份/etc和/var/log目录
    • 2.3 定时巡检脚本
  • 3. 练习三剑客过滤
    • 3.1 去重统计ip数量
    • 3.2 去重统计第7列 用户访问的url的数量
    • 3.3 去重统计第9列 状态码与数量
    • 3.4 添加条件统计指定范围,指定日期的日志情况.
    • 3.5 书写脚本自动完成上面统计
  • 4. 踩坑记录
    • 4.1 /bin和/usr/bin的关系（/sbin和/usr/sbin）？
    • 4.2 虚拟机进入紧急模式
    • 4.3 sort: 写入失败: /tmp/sort2f2zkI: 设备上没有空间
  • 5. 思维导图

1. cron

  • cron：官方定义就是 “Chronos(时间)” 的简写，与时间管理直接相关。

1.1 检查是否安装

[root@oldboy99-Kylin ~]# rpm -qa cron*
cronie-help-1.5.5-3.ky10.noarch
crontabs-help-1.11-21.ky10.noarch
cronie-1.5.5-3.ky10.x86_64
crontabs-1.11-21.ky10.noarch

1.2 检查是否开机自启动

[root@oldboy99-Kylin ~]# systemctl is-active crond.service 
active
[root@oldboy99-Kylin ~]# systemctl is-enabled crond.service 
enabled

1.3 配置文件与相关命令

  • cron的配置文件：/var/spool/cron/root
  • ubuntu中配置文件略有不同：/var/spool/cron/crontabs/root
cron命令选项说明
crontab-eedit，编辑cron配置文件
crontab-llist，显示定时任务信息

1.4 配置文件格式

任务执行时间（*(分) *（时） *（日） *（月） *（周）） 执行命令或脚本

  • 注意任务执行后的结果输出位置
  • 执行的命令要使用绝对路径
符号说明
*表示所有时间
/表示间隔时间
-表示时间范围

2. 案例

2.1 同步时间

  • 测试命令
[root@oldboy99-Ubuntu ~]# ntpdate ntp.aliyun.com
26 May 17:42:51 ntpdate[1886]: adjust time server 203.107.6.88 offset -0.000672 sec
  • 编辑定时任务
[root@oldboy99-Ubuntu ~]# crontab -l
# 同步时间
*/2 * * * * /usr/sbin/ntpdate ntp.aliyun.com >/dev/null 2>&1
  • 查看cron日志：
  • kylin中cron日志位置：/var/log/cron
  • ubuntu中cron日志位置：/var/log/syslog
[root@oldboy99-Ubuntu ~]# tail -f /var/log/syslog
May 26 17:44:42 oldboy99-Ubuntu crontab[1912]: (root) BEGIN EDIT (root)
May 26 17:45:01 oldboy99-Ubuntu cron[840]: (root) RELOAD (crontabs/root)
May 26 17:45:01 oldboy99-Ubuntu cron[840]: (root.bak) ORPHAN (no passwd entry)
May 26 17:45:04 oldboy99-Ubuntu systemd[1]: Started Session 3 of User root.
May 26 17:46:29 oldboy99-Ubuntu crontab[1912]: (root) REPLACE (root)
May 26 17:46:29 oldboy99-Ubuntu crontab[1912]: (root) END EDIT (root)
May 26 17:46:35 oldboy99-Ubuntu crontab[1989]: (root) LIST (root)
May 26 17:47:01 oldboy99-Ubuntu cron[840]: (root) RELOAD (crontabs/root)
May 26 17:47:01 oldboy99-Ubuntu cron[840]: (root.bak) ORPHAN (no passwd entry)
May 26 17:48:01 oldboy99-Ubuntu CRON[2053]: (root) CMD (/usr/sbin/ntpdate ntp.aliyun.com >/dev/null 2>&1)
……

2.2 定时备份/etc和/var/log目录

  • 脚本不要放在家目录，否则可能有权限故障
[root@oldboy99-Ubuntu ~]# mkdir /server/scripts -p
[root@oldboy99-Ubuntu ~]# cd /server/scripts/
[root@oldboy99-Ubuntu /server/scripts]# cat bak-conf-log.sh 
#!/bin/bash#desc:备份etc和/var/log目录
#author：孙克旭tar zcf /backup/etc-`date +%F_%w`.tar.gz /etc
tar zcf /backup/log-`date +%F_%w`.tar.gz /var/log
[root@oldboy99-Ubuntu /server/scripts]# crontab -e
crontab: installing new crontab
[root@oldboy99-Ubuntu /server/scripts]# crontab -l
# 同步时间
*/2 * * * * /usr/sbin/ntpdate ntp.aliyun.com >/dev/null 2>&1
# 备份/etc和/var/log目录
0 0 * * * /usr/bin/bash /server/scripts/bak-conf-log.sh >/dev/null 2>&1

2.3 定时巡检脚本

  • cron的不会默认输出到屏幕，需要指定输出文件
  • 获取系统的各种信息
  • 编写脚本
#!/bin/bash
#desc:巡检脚本
#author:孙克旭#主机信息
hostname=`hostname`
ip=`hostname -I`
os=`hostnamectl |awk -F ': +' '/Operating System/{print $2}'`
kernel=`hostnamectl |awk -F ': +' '/Kernel/{print $2}'`
cpu_arch=`uname -m`cat << EOF
====主机基本信息====
主机名：$hostname
ip地址：$ip
系统版本：$os
内核版本：$kernel
CPU架构：$cpu_arch
EOF#进程信息
proc_total=`top -bn1 |awk 'NR==2{print $2}'`
proc_zom=`top -bn1 |awk 'NR==2{print $(NF-1)}'`cat << EOF
====进程信息====
进程总数：$proc_total
僵尸进程数：$proc_zom
EOF
  • 写入定时任务：
[root@oldboy99-Ubuntu ~]# crontab -l
# 同步时间
*/2 * * * * /usr/sbin/ntpdate ntp.aliyun.com >/dev/null 2>&1
# 备份/etc和/var/log目录
0 0 * * * /usr/bin/bash /server/scripts/bak-conf-log.sh >/dev/null 2>&1
# 定时执行巡检脚本
0 0 * * * /bin/bash /server/scripts/check_system.sh >>/server/scripts/check_system.log 2>&1

3. 练习三剑客过滤

  • 企业生产环境日志,压缩包500mb左右,解压后5gb左右,1000w行.
  1. 去重统计ip数量
  2. 去重统计第7列 用户访问的url的数量
  3. 去重统计第9列 状态码与数量.
  4. 添加条件统计指定范围,指定日期的日志情况.
  5. 书写脚本自动完成上面统计.

3.1 去重统计ip数量

# 解压压缩包
[root@oldboy99-Kylin ~/oldboy]# tar xf 1000w-oldboy-lidao996-access.log.tar.xz 
# 去重统计ip数量
[root@oldboy99-Kylin ~/oldboy]# awk '{print $1}' 1000w-oldboy-lidao996-access.log |sort |uniq -c |sort -k1nr |head185611 220.181.51.57185542 220.181.51.4197735 220.181.51.5896784 220.181.51.4267199 61.135.165.3666686 61.135.165.466686 61.135.169.566679 61.135.165.4266650 61.135.165.3966541 61.135.169.6

3.2 去重统计第7列 用户访问的url的数量

[root@oldboy99-Kylin ~/oldboy]# TMPDIR=./tmp/ awk '{print $7}' 1000w-oldboy-lidao996-access.log |sort -T ./tmp/ |uniq -c |sort -k1nr -T ./tmp/ |head -521696 /favicon.ico1192 /446 /recv.cm.php?_fbnVsbCxMRy9VODEyMC92MS4w65 /new/images/grey.gif54 /new/css/css.css

3.3 去重统计第9列 状态码与数量

[root@oldboy99-Kylin ~/oldboy]# TMPDIR=./tmp/ awk '{print $9}' 1000w-oldboy-lidao996-access.log |sort -T ./tmp/ |uniq -c |sort -k1nr -T ./tmp/ |head -5
5042786 302
4902220 20022541 40418193 49913464 502

3.4 添加条件统计指定范围,指定日期的日志情况.

[root@oldboy99-Kylin ~/oldboy]# sed -n '/16:30:00/,/16:32:00/p' 1000w-oldboy-lidao996-access.log |wc -l
23454

3.5 书写脚本自动完成上面统计

[root@oldboy99-Kylin /server/scripts]# cat test.sh
#!/bin/bash
#desc:练习三剑客
#author：孙克旭# 变量
log="/root/oldboy/1000w-oldboy-lidao996-access.log"
tmp="/root/oldboy/tmp"# 去重统计ip数量
echo "去重统计ip数量："
awk '{print $1}' $log |sort |uniq -c |sort -k1nr |head# 去重统计第7列 url数量
echo "去重统计url数量："
TMPDIR=$tmp awk '{print $7}' $log |sort -T $tmp |uniq -c |sort -k1nr -T $tmp |head -5# 去重统计第9列 状态码数量
echo "去重统计状态码数量："
TMPDIR=$tmp awk '{print $9}' $log |sort -T $tmp |uniq -c |sort -k1nr -T $tmp |head -5# 统计指定日期范围的数据
echo "统计指定范围的数据："
sed -n '/16:30:00/,/16:32:00/p' $log |wc -l
[root@oldboy99-Kylin /server/scripts]# bash test.sh 
去重统计ip数量：185611 220.181.51.57185542 220.181.51.4197735 220.181.51.5896784 220.181.51.4267199 61.135.165.3666686 61.135.165.466686 61.135.169.566679 61.135.165.4266650 61.135.165.3966541 61.135.169.6
去重统计url数量：21696 /favicon.ico1192 /446 /recv.cm.php?_fbnVsbCxMRy9VODEyMC92MS4w65 /new/images/grey.gif54 /new/css/css.css
去重统计状态码数量：
5042786 302
4902220 20022541 40418193 49913464 502
统计指定范围的数据：
23454

4. 踩坑记录

4.1 /bin和/usr/bin的关系（/sbin和/usr/sbin）？

  • 硬链接，可以看到inode值相同
[root@oldboy99-Kylin /bin]# ll -d /bin/ /usr/bin/ -i
201326747 dr-xr-xr-x 2 root root 45056  5月 26 10:35 /bin/
201326747 dr-xr-xr-x 2 root root 45056  5月 26 10:35 /usr/bin/
[root@oldboy99-Kylin ~]# ll -di /sbin/ /usr/sbin/
135 dr-xr-xr-x 2 root root 20480  5月 26 10:35 /sbin/
135 dr-xr-xr-x 2 root root 20480  5月 26 10:35 /usr/sbin/
  • ubuntu与kylin不同，是软链接
[root@oldboy99-Ubuntu ~]# ll -di /bin /usr/bin/12 lrwxrwxrwx 1 root root     7 Feb 17  2024 /bin -> usr/bin/
1703938 drwxr-xr-x 2 root root 36864 May 13 16:04 /usr/bin//
[root@oldboy99-Ubuntu ~]# ll -di /sbin /usr/sbin/17 lrwxrwxrwx 1 root root     8 Feb 17  2024 /sbin -> usr/sbin/
1703947 drwxr-xr-x 2 root root 20480 May 13 15:51 /usr/sbin//

4.2 虚拟机进入紧急模式

  • 一开始认为是百度网盘自动备份虚拟机，导致虚拟机查找文件出现故障，后来一看虚拟机目录，未发现有百度网盘相关文件
  • 查看下/etc/fstab
  • 之前把一个硬盘删除了，系统中的硬盘名称发生了改变

在这里插入图片描述

在这里插入图片描述

  • 将硬盘名改正即可

4.3 sort: 写入失败: /tmp/sort2f2zkI: 设备上没有空间

  • sort -T /path/to/tmpdir：指定 sort 的临时文件目录
  • TMPDIR 环境变量：控制临时目录位置

5. 思维导图

【金山文档】 思维导图 https://www.kdocs.cn/l/co3I7PtpTYQX

相关文章：

  • 创业团队建设与管理（一）
  • 扣子平台上如何进行对象序列化，JSON序列化和反序列化节点的使用
  • MPI实现中对消息传递的优化
  • 通用的管理账号设置设计（一）
  • 学习python day8
  • leetcode 93. Restore IP Addresses
  • mac for vscode集成的源代码管理 撤销和删除文件报错Permission denied
  • 宫格导航--纯血鸿蒙组件库AUI
  • 【C++篇】list模拟实现
  • SBT开源构建工具
  • 基于python+Django+Mysql的校园二手交易市场
  • 深入Java TCP流套接字编程：高效服务器构建与高并发实战优化指南​
  • Python实例题：Python应用马尔可夫链算法实现随机文本生成
  • sass,less是什么?为什么要使用他们?
  • 学员投稿：华为，ov等手机主流大厂桌面未读计数角标更新接口汇总
  • 项目三 - 任务8：实现词频统计功能
  • [论文阅读]Prompt Injection attack against LLM-integrated Applications
  • Linux 网络配置现代实践：Netplan 与 ifcfg 的全景对比与工程指南20250526
  • 炫云云渲染，构筑虚实交融的3D数字新视界
  • python（linux环境）-pickle、json、time、zipfile模块的使用
  • 网站定做公司/上海专业优化排名工具
  • cssci期刊/长春seo公司哪家好
  • 网站新闻专题怎么做/深圳网络推广市场
  • 制作企业网站的/最好的网络营销软件
  • 网站长尾词排名做不上去/公司seo是什么意思
  • 自己电脑做网站iis/上海网站seo招聘