当前位置：首页 > news >正文

爬虫反爬：CSS位置偏移反爬案例分析与实战案例

news 来源：原创 2025/4/30 15:03:20

文章目录

- 1. 反爬机制概述
- 2. 反爬原理
- 3. 案例分析
- 4. 破解思路
- 5. 实战样例
- - 样例1：使用Python和Selenium破解CSS位置偏移反爬
  - 样例2：电商网站商品列表CSS位置偏移反爬破解
- 6. 总结

1. 反爬机制概述

CSS位置偏移反爬是一种常见的反爬虫技术，通过CSS样式将网页内容的位置进行偏移，使得爬虫难以直接获取正确的文本内容。这种技术通常用于保护网页上的敏感信息或防止自动化工具抓取数据。

2. 反爬原理

CSS偏移：指网站通过JavaScript动态修改页面元素的style属性，如top、left、margin、padding等，使元素在页面上的位置不断变化。这种动态变化使得基于固定定位的爬虫难以准确抓取目标数据。

伪元素：使用::before和::after伪元素插入额外的字符或内容，干扰爬虫的解析。

字体加密：结合自定义字体，使得字符的显示与实际编码不一致，增加解析难度。

反爬原理:

动态渲染：网站使用JavaScript在客户端动态渲染页面，元素的最终位置只有在页面加载完成后才能确定。
随机偏移：元素的位置可能每次加载时都有所不同，增加了定位难度。
防爬检测：网站可能通过检测浏览器行为（如鼠标移动、点击等）来判断是否为爬虫，结合CSS位置偏移进一步增强防护。

3. 案例分析

假设有一个网页，其HTML结构如下：

<div class="content">
  <span style="position: absolute; left: 10px;">H</span>
  <span style="position: absolute; left: 30px;">e</span>
  <span style="position: absolute; left: 50px;">l</span>
  <span style="position: absolute; left: 70px;">l</span>
  <span style="position: absolute; left: 90px;">o</span>
</div>

运行 HTML
在这个例子中，每个字符都被绝对定位到不同的位置，爬虫如果直接获取文本内容，可能会得到乱序的字符。

4. 破解思路

解析CSS样式：通过解析每个字符的position、left、top等属性，重新排列字符顺序。

模拟浏览器渲染：使用无头浏览器（如Puppeteer、Selenium）加载页面，获取渲染后的文本内容。

字体解密：如果使用了自定义字体，需要解析字体文件，将字符映射到正确的编码。

有些网站会通过AJAX动态加载内容，导致部分数据在初始HTML中不可见。此时，可以通过模拟滚动、点击加载更多按钮等方式，确保所有数据加载完毕。

此外也要注意采取以下策略：

使用无头浏览器：如Selenium、Playwright，模拟真实用户行为，处理动态渲染页面。
随机化操作：模拟人类操作，如随机等待时间、随机点击位置，避免被检测为爬虫。
IP代理池：使用多个IP地址轮换请求，减少单个IP的请求频率。
数据校验：通过多维度数据校验，确保抓取的数据准确性和完整性。

5. 实战样例

样例1：使用Python和Selenium破解CSS位置偏移反爬

以下是一个使用Python和Selenium破解CSS位置偏移反爬的样例：

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options

# 配置Chrome选项
chrome_options = Options()
chrome_options.add_argument('--headless')  # 无头模式
chrome_options.add_argument('--disable-gpu')

# 设置ChromeDriver路径
service = Service('/path/to/chromedriver')

# 启动浏览器
driver = webdriver.Chrome(service=service, options=chrome_options)

# 打开目标网页
driver.get('https://example.com')

# 获取所有字符元素
char_elements = driver.find_elements(By.CSS_SELECTOR, '.content span')

# 按left属性排序
sorted_chars = sorted(char_elements, key=lambda x: int(x.value_of_css_property('left').replace('px', '')))

# 提取并拼接字符
text = ''.join([char.text for char in sorted_chars])

print(f"解析后的文本内容: {text}")

# 关闭浏览器
driver.quit()

样例2：电商网站商品列表CSS位置偏移反爬破解

假设有一个电商网站，商品列表页通过CSS位置偏移来展示商品信息，每次刷新页面时，商品的位置会有所不同。我们的目标是抓取每个商品的名称和价格。技术栈有

编程语言：Python
爬虫框架：Selenium（用于模拟浏览器行为）
解析库：BeautifulSoup（用于解析HTML）

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup
import time

# 配置Chrome选项
chrome_options = Options()
chrome_options.add_argument("--headless")  # 无头模式
chrome_options.add_argument("--disable-gpu")
chrome_options.add_argument("--no-sandbox")

# 配置WebDriver路径
service = Service('/path/to/chromedriver')
driver = webdriver.Chrome(service=service, options=chrome_options)

# 目标URL
url = 'https://example.com/products'

try:
    driver.get(url)
    time.sleep(3)  # 等待页面加载

    # 模拟滚动，确保所有商品加载
    last_height = driver.execute_script("return document.body.scrollHeight")
    while True:
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        time.sleep(2)
        new_height = driver.execute_script("return document.body.scrollHeight")
        if new_height == last_height:
            break
        last_height = new_height

    # 获取页面源代码
    html = driver.page_source
    soup = BeautifulSoup(html, 'html.parser')

    # 解析商品信息
    products = soup.find_all('div', class_='product-item')
    for product in products:
        name = product.find('span', class_='product-name').get_text(strip=True)
        price = product.find('span', class_='product-price').get_text(strip=True)
        print(f'商品名称: {name}, 价格: {price}')

finally:
    driver.quit()

由于商品位置动态变化，直接通过固定定位（如XPath或CSS选择器）可能无法准确定位。可以采取以下策略：

元素属性识别：通过元素的唯一属性（如ID、特定的class、文本内容）进行定位，而不是依赖位置。
相对定位：先定位一个稳定的父元素，再通过相对位置查找子元素。
动态等待：使用Selenium的显式等待（WebDriverWait）等待特定元素出现，而不是固定等待时间。

示例优化:

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

# 等待商品列表加载完成
wait = WebDriverWait(driver, 10)
products = wait.until(EC.presence_of_all_elements_located((By.CLASS_NAME, 'product-item')))

for product in products:
    name = product.find_element(By.CLASS_NAME, 'product-name').text
    price = product.find_element(By.CLASS_NAME, 'product-price').text
    print(f'商品名称: {name}, 价格: {price}')