当前位置：首页 > news >正文

Python爬虫进阶：面向对象设计与反爬策略实战

news 2025/11/11 9:44:23

在Python爬虫开发中，采用面向对象（OOP）的设计思想，通过类（Class）来封装爬虫功能，可以显著提升代码的可复用性、可维护性和抗封禁能力。本文将通过一个完整的实战案例，讲解如何设计一个基于类的爬虫框架，并分享主流反爬策略的应对方案。

一、为什么使用类封装爬虫？

传统过程式爬虫的弊端：
• 配置分散：URL、请求头等参数硬编码在多个函数中

• 异常冗余：每个请求函数需重复编写异常处理

• 扩展困难：新增代理池或缓存需重构核心逻辑

类封装通过职责分离解决上述问题：
class BaseSpider:
def init(self, base_url):
self.base_url = base_url
self.session = requests.Session() # 连接复用核心！
self.session.headers = {‘User-Agent’: self._gen_ua()}

def _gen_ua(self):"""动态UA生成（防基础反爬）"""return fake_useragent.UserAgent().randomdef request(self, endpoint, **kwargs):"""统一请求控制（异常熔断核心）"""try:resp = self.session.get(f"{self.base_url}{endpoint}", **kwargs)resp.raise_for_status()return respexcept requests.HTTPError as e:if e.response.status_code == 429:  # 频率限制特判time.sleep(10)logger.error(f"请求失败: {e}")return None

二、爬虫框架四层架构设计

初始化层：参数集中管理
请求控制层：统一异常处理与重试机制
解析层：提取数据（需子类实现）
存储层：数据持久化
from abc import ABC, abstractmethod

class AbstractSpider(ABC):
@abstractmethod
def parse(self, html: str):
“”“子类必须实现解析逻辑”“”
pass

def save(self, data, format='json'):"""统一存储接口，支持多种格式"""if format == 'json':with open('data.json', 'w', encoding='utf-8') as f:json.dump(data, f, ensure_ascii=False)# 可扩展CSV、数据库存储

三、实战：糗事百科爬虫类（交互式增强版）

以下案例基于糗事百科爬虫进行面向对象改造，增加了异常处理和用户交互功能：
import requests
import re
import time
import random
from urllib import request, parse
from fake_useragent import UserAgent

class QSBKSpider:
“”“糗事百科爬虫类（面向对象优化版）”“”

def __init__(self):self.pageIndex = 1self.user_agent = UserAgent().random  # 动态UAself.headers = {'User-Agent': self.user_agent}self.stories = []  # 存放段子的变量self.enable = False  # 程序运行控制def get_page(self, page_index):"""获取页面HTML"""try:url = 'http://www.qiushibaike.com/hot/page/' + str(page_index)req = request.Request(url, headers=self.headers)response = request.urlopen(req)page_code = response.read().decode('utf-8')return page_codeexcept Exception as e:print(f"请求失败: {e}")return Nonedef parse_page(self, page_index):"""解析页面，提取段子信息"""page_code = self.get_page(page_index)if not page_code:return Nonepattern = re.compile(r'<div.*?class="author.*?<h2>(.*?)</h2>.*?<div.*?class="content.*?<span>(.*?)</span>.*?'r'<span.*?class="stats-vote">.*?<i.*?class="number">(.*?)</i>.*?'r'<span.*?class="dash">.*?<i.*?class="number">(.*?)</i>', re.S)items = re.findall(pattern, page_code)page_stories = []for item in items:# 处理内容中的<br/>标签text = re.sub(r'<br/>', "\n", item[1])page_stories.append([item[0].strip(), text.strip(), item[2].strip(), item[3].strip()])return page_storiesdef load_page(self):"""加载页面到内存"""if self.enable and len(self.stories) < 2:page_stories = self.parse_page(self.pageIndex)if page_stories:self.stories.append(page_stories)self.pageIndex += 1def get_one_story(self):"""交互式获取一个段子"""while self.enable:if len(self.stories) > 0:page_stories = self.stories[0]for story in page_stories:user_input = input("按回车看下一个段子，Q退出：")if user_input == "Q":self.enable = Falsereturnprint(f"发布人：{story[0]}\n内容：{story[1]}\n赞：{story[2]}\n评论：{story[3]}\n{'-'*50}")self.stories.pop(0)self.load_page()time.sleep(1)  # 礼貌性延迟def start(self):"""启动爬虫"""print("开始爬取糗事百科，按回车查看段子，Q退出")self.enable = Trueself.load_page()self.get_one_story()

使用示例

if name == ‘main’:
spider = QSBKSpider()
spider.start()

四、2024反爬策略综合应对方案

请求头伪装与会话维持
def setup_headers(self):
“”“全面伪装浏览器请求头”“”
self.headers = {
‘User-Agent’: ‘Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36’,
‘Accept’: ‘text/html,application/xhtml+xml,application/xml;q=0.9,/;q=0.8’,
‘Accept-Language’: ‘zh-CN,zh;q=0.9’,
‘Referer’: ‘https://www.qiushibaike.com/’,
‘Connection’: ‘keep-alive’
}
self.session = requests.Session()
self.session.headers.update(self.headers)
智能请求频率控制
def smart_request(self, url, max_retries=3):
“”“带智能延迟的请求方法”“”
for attempt in range(max_retries):
try:
response = self.session.get(url, timeout=10)
# 随机延迟1-3秒，模拟人类行为
time.sleep(random.uniform(1, 3))
return response
except Exception as e:
if attempt == max_retries - 1:
logger.error(f"请求失败: {e}")
time.sleep(2 ** attempt) # 指数退避
return None
代理IP轮换机制
def setup_proxy_pool(self):
“”“设置代理IP池”“”
self.proxies = [
‘http://user:pass@ip1:port’,
‘http://user:pass@ip2:port’
]

def rotate_proxy(self):
“”“轮换代理IP”“”
proxy = random.choice(self.proxies)
self.session.proxies = {‘http’: proxy, ‘https’: proxy}

五、工程化扩展建议

多解析方式支持
class MultiParserSpider:
def parse_with_regex(self, html):
“”“正则表达式解析”“”
pass
```
def parse_with_bs4(self, html):"""BeautifulSoup解析"""passdef parse_with_xpath(self, html):"""XPath解析"""pass
```
多存储格式支持
def save_data(self, data, format_type=‘json’):
“”“支持多种存储格式”“”
if format_type == ‘json’:
with open(‘data.json’, ‘w’, encoding=‘utf-8’) as f:
json.dump(data, f, ensure_ascii=False)
elif format_type == ‘csv’:
with open(‘data.csv’, ‘w’, newline=‘’, encoding=‘utf-8’) as f:
writer = csv.writer(f)
writer.writerows(data)
分布式扩展基础
import redis
class DistributedSpider:
def init(self):
self.redis_conn = redis.Redis(host=‘localhost’, port=6379, db=0)
```
def push_url(self, url):"""URL入队"""self.redis_conn.lpush('crawler:urls', url)
```