零基础入门网络爬虫第5天：Scrapy框架
4周
Srapy爬虫框架
不是一个简单的函数功能库，而是一个爬虫框架
安装：pip install scrapy
检测：scrapy -h
Scrapy爬虫框架结构
爬虫框架
- 爬虫框架是实现爬虫功能的一个软件结构和功能组件集合
- 爬虫框架是一个半成品，能够帮助用户实现网络爬虫
5+2结构
spiders：入口，用来像整个模块提供要访问的url链接，解析从网络中获得页面的内容
item pipelines：出口。负责对提取的信息进行后处理
engine，downloader，scheduler都是已有的功能实现
用户编写（配置）：spiders item pipelines
Engine：不需要用户修改
- 控制所有模块之间的数据流
- 根据条件触发事件
Downloader：不需要用户修改
- 根据请求下载网页
Schedule：不需要用户修改
- 对所有的爬取请求进行调度管理
Downloader Middleware：用户可以编写配置代码
目的：实施Engine，Scheduler和Downloader之间进行用户可配置的控制
功能：修改，丢弃，新增请求或响应
如果用户不需要对request或response进行修改的时候，用户可以不更改这个中间件
Spider：需要用户编写配置代码
- 解析Downloader返回的响应（Response）
- 产生爬取项（scraped item）
- 产生额外的爬取请求（request）
Item Pipelines：需要用户编写配置代码
- 以流水线方式处理Spiders产生的爬取项
- 由一组操作顺序组成，类似流水线，每个操作是一个 Item Pipeline类型
- 可能操作包括：清理，检验和查重爬取项的HTML数据，将数据存储到数据库
Spider Middleware：用户可以编写配置代码
目的：对请求和爬取项的再处理
功能：修改，丢弃，新增请求或爬取项
requests库和Scrapy库的比较
相同点:
- 两者都可以进行网页 请求和爬取，python爬虫的两个重要技术路线
- 两者可用性都好，文档丰富，入门简单
- 两者都没有处理js，提交表单，应对验证码等功能（可扩展）
| requests | Scrapy |
|---|---|
| 页面级爬虫 | 网站级爬虫 |
| 功能库 | 框架 |
| 并发性考虑不足，性能较差 | 并发性好，性能较高（基于异步结构设计） |
| 重点在于页面下载 | 重点在于爬虫结构 |
| 定制灵活 | 一般定制灵活，深度定制困难 |
| 上手十分简单 | 入门稍难 |
非常小的需求：requests库
不太小的需求：Scrapy框架
定制程度很高的需求（不考虑规模），自搭框架，requests>Scrapy
Scrapy常用命令
Scrapy命令行：
Scrapy是为持续运行设计的专业爬虫框架，提供命令行
命令格式：
一个工程是一个最大的单元，一个工程相当于大的Scrapy框架内
演示
演示地址：http://python123.io/ws/demo.html
文件名称：demo.html
步骤1：建立一个Scrapy爬虫工程
scrapy startproject python123demo
生成的工程目录
python123demo/————>外层目录
scrapy.cfg—————>部署Scrapy爬虫的配置文件，将这样的爬虫放在特定的服务器上，并且在服务器配置好相关的操作接口。本机来讲，不需要改变部署的配置文件
python123demo/————>Scrapy框架的用户自定义python代码
init.py————>初始化脚本
items.py———>Items代码模板（继承类）
middlewares.py——>Middewares代码模板（继承类）
pipelines.py———>Pipelines代码模板 （继承类）
settings,py———>Scrapy爬虫的配置文件
spiders/————>Spiders代码模板目录（继承类）
__init__.py——>初始文件，无需修改
__pycache__/———>缓存目录，无需修改
步骤2：在工程中产生一个Scrapy爬虫
cd python123demo
scrapy genspider demo python123.io
生成了一个demo.py 和要爬取的网页信息
import scrapy
class DemoSpider(scrapy.Spider):
name = "demo"
allowed_domains = ["python123.io"]
start_urls = ["https://python123.io"]
def parse(self, response):
pass
#pass（）用于处理响应，解析内容形成字典，发现新的URL爬取请求
步骤3：配置产生的spider爬虫
步骤4：运行命令
scrapy crawl demo
import scrapy
class DemoSpider(scrapy.Spider):
# 爬虫唯一标识符（运行爬虫时使用）
name = "demo"
# 允许爬取的域名（当前被注释）
# allowed_domains = ["python123.io"]
# 起始URL列表（自动生成请求）
start_urls = ["https://python123.io/ws/demo.html"]
def parse(self, response):
""" 响应处理核心方法 """
# 从URL提取文件名（取最后一段作为文件名）
fname = response.url.split('/')[-1]
# 二进制写入模式保存网页内容
with open(fname, 'wb') as f:
f.write(response.body) # response.body是原始字节数据
self.log('Saved file %s.' % fname)
# 应移除pass，可在此添加数据解析逻辑
# 例如：生成后续请求或解析数据
yield关键字的使用
yield<——>生成器
- 生成器是一个不断产生值的函数
- 包含yield语句的函数是一个生成器
- 生成器每次产生一个值（yield语句），函数被冻结，被唤醒后再产生一个值。唤醒时它所使用的局部变量的值跟之前执行所使用的值是一致的
为什么要有生成器
- 生成器相比一次列出所有内容的优势
- 更节省存储空间
- 响应更迅速
- 使用更灵活
生成器所使用的元素空间仍然是一个
Scrapy爬虫的基本使用
步骤1：创建一个工程和Spider模板
步骤2：编写Spider
步骤3：编写Item Pipline
步骤4：优化配置策略
Scrapy爬虫的数据类型
Request类
Response类
item类
Requests类
class scrapy.http.Request()
- request对象表示一个HTTP请求
- 由Spider生成，由Downloader执行
| 属性或方法 | 说明 |
|---|---|
| .url | Request对应的请求URL地址 |
| .method | 对应的请求方法，‘GET’“POST”等 |
| .headers | 字典类型风格的请求头 |
| .body | 请求主体内容，字符串类型 |
| .meta | 用户添加的扩展信息，在Scrapy内部模块间传递信息使用（实际爬取内容没用） |
| .copy() | 复制该请求 |
Respone类
class scrapy.http.Response()
- Response对象表示一个HTTP响应
- 由Downloader生成，由Spider处理
| 属性或方法 | 说明 |
|---|---|
| .url | response对应的URL地址 |
| .status | HTTP状态码，默认是200 |
| .headers | Response对应的头部信息 |
| .body | Response对应的内容信息，字符串类型 |
| .flags | 一组标记 |
| .request | 产生Response类型对应的Request对象 |
| .copy() | 复制该响应 |
Item类
class scrapy.item.Item()
- Item对象表示一个从HTML页面中提取的信息内容
- 由Spider生成，由Item Pipeline处理
- Item类似字典类型，可以按照字典类型操作
Scrapy爬虫提取信息的方法
Scrapy爬虫支持多种HTML信息提取方法，主要应用在spider模块内
- Beautiful Soup
- Ixml
- re
- XpathSelector
- CSS Selector
CSS Selector的基本使用
股票数据爬虫
步骤1：建立工程和Spider模板
步骤2：编写Spider
步骤3：编写ITEM Pipelines（对后期提取的数据进行处理）
# -*- coding: utf-8 -*-
import scrapy
import re
class StocksSpider(scrapy.Spider):
name = "stocks" # <mcsymbol name="StocksSpider" filename="stocks_spider.py" path="d:\javaexperiment\experiment0\test\stocks_spider.py" startline="5" type="class">爬虫唯一标识符</mcsymbol>
start_urls = ['http://quote.eastmoney.com/stocklist.html'] # 起始页面（股票列表页）
def parse(self, response):
""" 解析股票列表页 """
for href in response.css('a::attr(href)').extract(): # 提取所有链接
try:
stock = re.findall(r"[s][hz]\d{6}", href)[0] # 正则匹配股票代码
url = f'https://gupiao.baidu.com/stock/{stock}.html' # 构造详情页URL
yield scrapy.Request(url, callback=self.parse_stock) # 生成新请求
except:
continue # 跳过无效链接
def parse_stock(self, response):
""" 解析个股详情页 """
infoDict = {}
stockInfo = response.css('.stock-bets') # 定位信息容器
# 提取股票名称（含复杂处理）
name = stockInfo.css('.bets-name').extract()[0]
company = re.findall(r'\s.*\(', name)[0].split()[0]
code = re.findall(r'\>.*\<', name)[0][1:-1]
# 提取键值对信息
keys = [re.sub(r'<.*?>', '', k) for k in stockInfo.css('dt').extract()]
values = [re.sub(r'<.*?>', '', v) for v in stockInfo.css('dd').extract()]
# 构建数据字典
for k, v in zip(keys, values):
infoDict[k] = v if re.search(r'\d', v) else '--'
infoDict['股票名称'] = f"{company}{code}"
yield infoDict
graph TD
A[启动爬虫] --> B(访问股票列表页)
B --> C{遍历所有链接}
C -->|匹配股票代码| D[构造详情页URL]
C -->|不匹配| E[跳过]
D --> F(请求详情页)
F --> G[解析股票数据]
G --> H[生成结构化数据]
# -*- coding: utf-8 -*-
class BaidustocksPipeline(object):
def process_item(self, item, spider):
# 基础管道（未实现具体功能）
return item # 必须返回item对象以传递到后续管道
class BaidustocksInfoPipeline(object):
def open_spider(self, spider):
"""爬虫启动时执行"""
self.f = open('BaiduStockInfo.txt', 'w') # 创建/覆盖写入文件
def close_spider(self, spider):
"""爬虫关闭时执行"""
self.f.close() # 必须关闭文件
def process_item(self, item, spider):
"""处理每个item的回调"""
try:
line = str(dict(item)) + '\n' # 将item转为字典格式字符串
self.f.write(line) # 写入文本文件
except Exception as e: # 应指定具体异常类型
spider.logger.error(f"写入失败: {str(e)}") # 建议添加日志
return item # 保持item传递链
graph LR
A[爬虫产生Item] --> B[Item经过BaidustocksPipeline]
B --> C[Item经过BaidustocksInfoPipeline]
C --> D[数据写入BaiduStockInfo.txt]
# Configure item pipelines
# See http://scrapy.readthedocs.org/en/latest/topics/item-pipeline.html
ITEM_PIPELINES = {
'BaiduStocks.pipelines.BaidustocksInfoPipeline': 300,
}