爬虫系统异常监控并邮件通知源码
前面两篇讲了有关爬虫系统的搭建以及爬虫中需要的代理ip池的搭建的全过程，接下来我将写一个爬虫系统以及代理ip池异常监控的程序，主要功能就是监控是否发生异常，及时通过邮件提醒管理员排查故障，这样整体的一套流程就全部清晰了，能够完美适配任何项目。
在Linux系统上监控爬虫运行状态并实现异常邮件通知，可以通过以下方案实现：
一、监控爬虫运行状态的核心方法
1、进程存活监控
# 检查爬虫进程是否存在
pgrep -f "spider.py" > /dev/null
if [ $? -eq 0 ]; thenecho "爬虫进程运行中"
elseecho "爬虫进程已停止！需要告警"
fi
2、心跳检测机制
在爬虫代码中添加心跳记录：
# spider.py
import time
import jsondef record_heartbeat():heartbeat = {"timestamp": time.time(),"status": "running","items_scraped": 1000 # 实际抓取数量}with open("/var/log/spider_heartbeat.json", "w") as f:json.dump(heartbeat, f)# 在爬虫主循环中定期调用
while True:# ...爬虫工作...record_heartbeat()time.sleep(60) # 每分钟记录一次
3、日志关键词监控
# 检查日志中是否包含成功标记
tail -n 100 /var/log/spider.log | grep "Scraped 100 items" > /dev/null
if [ $? -ne 0 ]; thenecho "日志无更新！需要告警"
fi
4、数据产出监控
# 检查数据库最新数据时间
last_data_time=$(mysql -uuser -ppass -e "SELECT MAX(created_at) FROM items" spider_db)
current_time=$(date +%s)
if [ $(($current_time - $(date -d "$last_data_time" +%s))) -gt 3600 ]; thenecho "数据超过1小时未更新！需要告警"
fi
二、邮件告警系统实现
1、安装邮件发送工具
sudo apt install mailutils -y
2、配置邮件发送脚本 send_alert.sh
#!/bin/bash
# send_alert.shALERT_SUBJECT="爬虫系统异常告警"
ALERT_CONTENT=$(cat <<EOF
服务器: $(hostname)
时间: $(date)
异常类型: $1
详细信息:
$2
EOF
)echo "$ALERT_CONTENT" | mail -s "$ALERT_SUBJECT" admin@example.com
3、完整监控脚本 spider_monitor.sh
#!/bin/bash
# spider_monitor.sh# 1. 进程检查
if ! pgrep -f "spider.py" > /dev/null; then./send_alert.sh "进程停止" "爬虫进程未运行！"exit 1
fi# 2. 心跳检查
HEARTBEAT_FILE="/var/log/spider_heartbeat.json"
if [ ! -f "$HEARTBEAT_FILE" ]; then./send_alert.sh "心跳丢失" "心跳文件不存在！"exit 1
fitimestamp=$(jq -r '.timestamp' $HEARTBEAT_FILE 2>/dev/null)
current_time=$(date +%s)
if [ -z "$timestamp" ] || [ $(($current_time - $timestamp)) -gt 1200 ]; then./send_alert.sh "心跳超时" "心跳超过20分钟未更新！最后时间: $(date -d @$timestamp)"exit 1
fi# 3. 日志检查
if ! tail -n 100 /var/log/spider.log | grep "Scraped [0-9]\+ items" > /dev/null; then./send_alert.sh "日志异常" "最近100行日志未发现抓取记录！"exit 1
fi# 4. 数据产出检查
last_data_time=$(mysql -uuser -ppass -e "SELECT MAX(created_at) FROM items" -NB spider_db 2>/dev/null)
if [ -z "$last_data_time" ]; then./send_alert.sh "数据库错误" "无法获取最新数据时间！"exit 1
fidb_time=$(date -d "$last_data_time" +%s)
if [ $(($current_time - $db_time)) -gt 7200 ]; then./send_alert.sh "数据异常" "数据超过2小时未更新！最后数据时间: $last_data_time"exit 1
fiecho "$(date) - 爬虫运行正常"
4、设置定时任务
# 每5分钟执行一次监控
crontab -e
*/5 * * * * /path/to/spider_monitor.sh >> /var/log/spider_monitor.log 2>&1
三、高级监控方案（使用Prometheus + Grafana + Alertmanager）
1、在爬虫中暴露监控指标
# metrics.py
from prometheus_client import start_http_server, Counter, Gauge# 定义指标
PAGES_SCRAPED = Counter('spider_pages_scraped', '已抓取页面数')
ITEMS_SCRAPED = Counter('spider_items_scraped', '已抓取数据项')
LAST_SUCCESS = Gauge('spider_last_success', '最后成功时间戳')# 在爬虫中更新指标
def record_success(items):ITEMS_SCRAPED.inc(len(items))LAST_SUCCESS.set_to_current_time()# 启动指标服务器（在8888端口）
start_http_server(8888)
2、Prometheus配置
# prometheus.yml
scrape_configs:- job_name: 'spider'static_configs:- targets: ['spider-server:8888']
3、Alertmanager邮件配置
# alertmanager.yml
route:receiver: 'email-alerts'receivers:
- name: 'email-alerts'email_configs:- to: 'admin@example.com'from: 'alertmanager@example.com'smarthost: 'smtp.example.com:587'auth_username: 'user'auth_password: 'pass'send_resolved: true
4、告警规则
# spider_alerts.yml
groups:
- name: spiderrules:- alert: SpiderDownexpr: up{job="spider"} == 0for: 5mlabels:severity: criticalannotations:summary: "爬虫服务下线"description: "爬虫服务 {{ $labels.instance }} 已停止运行超过5分钟"- alert: NoRecentDataexpr: time() - spider_last_success > 3600for: 15mlabels:severity: warningannotations:summary: "爬虫数据停止更新"description: "爬虫服务 {{ $labels.instance }} 已超过1小时未产生新数据"
四、异常自动恢复机制
# 在监控脚本中添加重启逻辑
if ! pgrep -f "spider.py" > /dev/null; then./send_alert.sh "进程停止" "尝试重启爬虫..."cd /path/to/spidersource .venv/bin/activatenohup python spider.py >> /var/log/spider.log 2>&1 &sleep 10if pgrep -f "spider.py"; then./send_alert.sh "重启成功" "爬虫进程已恢复"else./send_alert.sh "重启失败" "爬虫重启失败，需要人工干预！"fi
fi
五、增强型监控建议
1、多维度监控：
- 系统资源：CPU/内存/磁盘使用率
- 网络状态：代理IP可用性、请求成功率
- 业务指标：抓取速率、数据质量
2、分级告警：
- 轻微异常：发送邮件通知
- 严重故障：增加短信/钉钉通知
- 灾难性故障：电话通知
3、告警收敛：
# 避免重复告警
if [ -f "/tmp/last_alert" ] && [ $(($(date +%s) - $(stat -c %Y /tmp/last_alert)) -lt 3600 ]; thenecho "1小时内已发送过告警，跳过"exit 0
fi
touch /tmp/last_alert
4、可视化看板：
通过以上方案，可以实现对爬虫系统的全面监控，在出现异常时及时通知管理员，确保爬虫服务的稳定运行。生产环境推荐使用Prometheus+Grafana+Alertmanager的组合方案，它提供了更强大的监控能力和可视化效果。