当前位置：首页 > news >正文

爬虫抓取数据时如何处理异常？

news 来源：原创 2025/5/9 18:25:46

在爬虫开发中，处理异常是确保爬虫稳定运行的关键环节。爬虫在运行过程中可能会遇到各种问题，例如网络请求失败、目标页面结构变化、数据缺失等。合理处理这些异常可以提高爬虫的鲁棒性，避免因小问题导致整个爬虫程序崩溃。以下是一些常见的异常处理方法和策略：

1. 网络请求异常处理

网络请求是爬虫中最容易出问题的部分，常见的异常包括超时、连接失败、目标服务器返回错误状态码等。

示例代码：

import requests
from requests.exceptions import RequestException

def get_html(url):
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"
    }
    try:
        response = requests.get(url, headers=headers, timeout=10)  # 设置超时时间
        response.raise_for_status()  # 检查HTTP状态码是否为200
        return response.text
    except RequestException as e:
        print(f"请求失败：{e}")
        return None

处理策略：

超时设置：通过timeout参数设置请求超时时间，避免爬虫因长时间等待而卡住。
重试机制：使用requests的Session对象结合urllib3的重试机制。
状态码检查：通过response.raise_for_status()检查HTTP状态码是否为200。

2. 页面解析异常处理

页面解析过程中可能会遇到HTML结构变化、目标元素缺失等问题，导致BeautifulSoup或Selenium抛出异常。

示例代码：

from bs4 import BeautifulSoup

def parse_html(html):
    soup = BeautifulSoup(html, "lxml")
    products = []

    try:
        items = soup.select(".product-item")
        for item in items:
            product = {
                "name": item.select_one(".product-name").text.strip(),
                "price": item.select_one(".product-price").text.strip(),
                "description": item.select_one(".product-description").text.strip()
            }
            products.append(product)
    except AttributeError as e:
        print(f"解析失败：{e}")
    return products

处理策略：

使用try-except块：捕获可能出现的AttributeError等异常。
检查元素是否存在：在访问元素之前，使用if语句检查元素是否存在。
日志记录：记录异常信息，便于后续分析和修复。

3. 数据缺失处理

在爬取数据时，可能会遇到某些字段缺失的情况。例如，某些商品可能没有用户评价或图片链接。

示例代码：

def parse_html(html):
    soup = BeautifulSoup(html, "lxml")
    products = []

    items = soup.select(".product-item")
    for item in items:
        product = {
            "name": item.select_one(".product-name").text.strip() if item.select_one(".product-name") else "未知",
            "price": item.select_one(".product-price").text.strip() if item.select_one(".product-price") else "未知",
            "description": item.select_one(".product-description").text.strip() if item.select_one(".product-description") else "无描述"
        }
        products.append(product)
    return products

处理策略：

使用三元运算符：在提取数据时，检查元素是否存在，避免抛出异常。
设置默认值：为缺失的字段设置默认值，例如“未知”或“无描述”。

4. 动态内容加载异常处理

如果目标页面使用JavaScript动态加载内容，使用Selenium时可能会遇到页面加载超时、元素未找到等问题。

示例代码：

from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.common.exceptions import TimeoutException, NoSuchElementException

def get_dynamic_html(url):
    options = webdriver.ChromeOptions()
    options.add_argument("--headless")
    driver = webdriver.Chrome(options=options)
    try:
        driver.get(url)
        driver.implicitly_wait(10)  # 设置隐式等待时间
        items = driver.find_elements(By.CSS_SELECTOR, ".product-item")
        for item in items:
            name = item.find_element(By.CSS_SELECTOR, ".product-name").text
            price = item.find_element(By.CSS_SELECTOR, ".product-price").text
            print(f"商品名称：{name}, 价格：{price}")
    except TimeoutException:
        print("页面加载超时")
    except NoSuchElementException:
        print("未找到目标元素")
    finally:
        driver.quit()

处理策略：

设置隐式等待：通过driver.implicitly_wait()设置隐式等待时间，避免因页面加载缓慢导致元素未找到。
捕获异常：使用try-except块捕获TimeoutException和NoSuchElementException等异常。
资源清理：在finally块中关闭浏览器实例，确保资源被正确释放。

5. 日志记录

日志记录是爬虫开发中不可或缺的一部分，它可以帮助我们快速定位问题并修复。

示例代码：

import logging

# 配置日志
logging.basicConfig(level=logging.INFO, format="%(asctime)s - %(levelname)s - %(message)s")

def get_html(url):
    headers = {
        "User-Agent": "Mozilla/5.0"
    }
    try:
        response = requests.get(url, headers=headers)
        response.raise_for_status()
        return response.text
    except RequestException as e:
        logging.error(f"请求失败：{e}")
        return None

def parse_html(html):
    soup = BeautifulSoup(html, "lxml")
    products = []
    try:
        items = soup.select(".product-item")
        for item in items:
            product = {
                "name": item.select_one(".product-name").text.strip(),
                "price": item.select_one(".product-price").text.strip()
            }
            products.append(product)
    except AttributeError as e:
        logging.error(f"解析失败：{e}")
    return products

处理策略：