当前位置：首页 > wzjs >正文

2017手机网站建设方案公司网站建设亚运村

wzjs 2025/9/15 11:30:24

2017手机网站建设方案,公司网站建设亚运村,郑州网站建设流程,找人做网站需要注意问题一、动态网页爬取的挑战动态网页通过JavaScript等技术在客户端动态生成内容，这使得传统的爬虫技术（如requests和BeautifulSoup）无法直接获取完整的内容。具体挑战包括： 数据加载异步化：数据并非一次性加载&#xff…

一、动态网页爬取的挑战

动态网页通过JavaScript等技术在客户端动态生成内容，这使得传统的爬虫技术（如requests和BeautifulSoup）无法直接获取完整的内容。具体挑战包括：

数据加载异步化：数据并非一次性加载，而是根据用户操作动态更新。
请求复杂化：可能涉及多个AJAX请求，难以直接模拟。
反爬虫机制：动态网页常配备更为复杂的反爬虫策略。

二、Scrapy与Selenium：双剑合璧

（一）Scrapy：强大的爬虫框架

Scrapy是一个高效、灵活且可扩展的Python爬虫框架，提供了丰富的功能，如请求调度、数据提取和持久化存储。其高度模块化的设计使得爬虫的开发和维护变得异常便捷。

（二）Selenium：浏览器自动化利器

Selenium可以模拟真实用户的浏览器操作，如点击、滚动等，非常适合处理需要JavaScript渲染的动态内容。通过Selenium，爬虫可以在浏览器环境中执行JavaScript代码，获取由JavaScript动态生成的内容。

（三）结合优势

Scrapy结合Selenium可以充分发挥两者的优势。Selenium可以解决Scrapy无法处理的动态页面和JavaScript生成的内容，而Scrapy可以提供更好的抓取和数据提取的能力。

三、具体实现过程

（一）环境搭建

在开始之前，需要确保已经安装了Python环境，

此外，还需要下载合适的WebDriver，如ChromeDriver，并确保其路径已添加到系统环境变量中。

（二）创建Scrapy项目

使用Scrapy的命令行工具创建一个新的项目：

进入项目目录：

（三）编写Selenium中间件

为了在Scrapy中使用Selenium，需要编写一个中间件来处理请求。在middlewares.py文件中添加以下代码：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from scrapy.http import HtmlResponseclass SeleniumMiddleware:def __init__(self):chrome_options = Options()chrome_options.add_argument('--headless')  # 无头模式self.driver = webdriver.Chrome(options=chrome_options)def process_request(self, request, spider):self.driver.get(request.url)body = self.driver.page_sourcereturn HtmlResponse(url=self.driver.current_url, body=body, encoding='utf-8')def __del__(self):self.driver.quit()

这段代码创建了一个Selenium中间件，用于在Scrapy中模拟浏览器操作。

（四）配置Scrapy项目

在settings.py中启用编写的中间件：

DOWNLOADER_MIDDLEWARES = {'search_click_spider.middlewares.SeleniumMiddleware': 543,
}

（五）编写爬虫

接下来，编写具体的爬虫代码。在spiders目录下创建一个名为search_click_spider.py的文件，并添加以下内容：

import scrapy
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.proxy import Proxy, ProxyType
from scrapy.http import HtmlResponse# 代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"class SearchClickSpider(scrapy.Spider):name = 'search_click'start_urls = ['https://www.example.com/search']def parse(self, response):# 模拟搜索点击操作search_input = response.css('input[name="search"]::attr(name)').get()search_button = response.css('button[name="submit"]::attr(name)').get()# 使用Selenium进行搜索点击chrome_options = Options()chrome_options.add_argument('--headless')  # 无头模式# 设置代理proxy = Proxy()proxy.proxy_type = ProxyType.MANUALproxy.http_proxy = f"{proxyHost}:{proxyPort}"proxy.ssl_proxy = f"{proxyHost}:{proxyPort}"proxy.socks_proxy = f"{proxyHost}:{proxyPort}"proxy.no_proxy = ""# 将代理设置到Chrome选项中proxy.add_to_capabilities(webdriver.DesiredCapabilities.CHROME)self.driver = webdriver.Chrome(options=chrome_options)try:self.driver.get(response.url)self.driver.find_element_by_name(search_input).send_keys('关键词')self.driver.find_element_by_name(search_button).click()# 获取搜索结果页面的源代码body = self.driver.page_sourceself.driver.quit()# 返回搜索结果页面的响应return HtmlResponse(url=self.driver.current_url, body=body, encoding='utf-8')except Exception as e:self.driver.quit()self.logger.error(f"Failed to load the page: {e}")self.logger.error("Please check the URL and network connection. If the issue persists, consider retrying or verifying the proxy settings.")return HtmlResponse(url=response.url, body="", encoding='utf-8', status=500)def parse_results(self, response):# 提取搜索结果for result in response.css('div.result'):yield {'title': result.css('h2::text').get(),'link': result.css('a::attr(href)').get(),'description': result.css('p::text').get(),}