Requests 库详解：爬虫工程师的 “瑞士军刀”
在爬虫工程师的工具箱中，有一款工具如同 “瑞士军刀” 般实用且强大，它就是 Python 的 Requests 库。相较于 Python 标准库中的 urllib 模块，Requests 库以其简洁优雅的 API 设计、完善的功能支持以及极佳的易用性，成为了爬虫开发领域的首选工具。无论是获取简单的网页内容、处理复杂的表单提交，还是应对各种反爬机制，Requests 库都能游刃有余，帮助工程师高效完成数据采集任务。
一、Requests 库的安装与基础请求
（一）轻松安装
Requests 库的安装过程十分简便，对于大多数 Python 环境，只需通过 Python 的包管理工具 pip 即可完成安装。在命令行中输入以下命令，短短几秒就能完成安装：
pip install requests如果遇到网络问题，还可以使用国内的镜像源进行安装，例如使用豆瓣镜像源：
pip install -i https://pypi.doubanio.com/simple/ requests这种便捷的安装方式，让工程师能够快速将其集成到自己的开发环境中，无需花费过多时间在环境配置上。
（二）基础请求方法
Requests 库提供了多种 HTTP 请求方法，满足不同的爬虫需求，其中最常用的包括 GET 和 POST 请求。
- GET 请求：主要用于从服务器获取数据，例如获取网页内容、API 接口数据等。使用 Requests 库发送 GET 请求非常简单，只需调用requests.get()方法，并传入目标 URL 即可。以下是一个简单的示例：
import requests# 发送GET请求 response = requests.get('https://www.example.com')# 查看响应状态码，200表示请求成功 print('响应状态码：', response.status_code)# 查看响应内容，content返回字节流，text返回字符串形式 print('响应内容（字节流）：', response.content) print('响应内容（字符串）：', response.text)# 查看响应头信息 print('响应头：', response.headers)
通过上述代码，工程师可以轻松获取目标网页的状态码、内容以及响应头信息，为后续的数据解析和处理奠定基础。
2. POST 请求：常用于向服务器提交数据，例如登录表单提交、数据上传等。在发送 POST 请求时，需要将待提交的数据以字典的形式传入data参数中。以下是一个模拟登录表单提交的示例：
import requests# 目标登录URL
login_url = 'https://www.example.com/login'# 待提交的登录数据
login_data = {'username': 'your_username','password': 'your_password'
}# 发送POST请求
response = requests.post(login_url, data=login_data)# 判断登录是否成功
if response.status_code == 200 and '登录成功' in response.text:print('登录成功！')
else:print('登录失败！')在实际的爬虫开发中，POST 请求的应用场景非常广泛，正确使用 POST 请求能够帮助工程师获取需要登录后才能访问的数据。
二、Requests 库的进阶功能
（一）请求头设置
在爬虫开发过程中，为了避免被目标网站识别为爬虫并进行封禁，设置合理的请求头至关重要。Requests 库允许工程师自定义请求头，通过headers参数传入一个字典来设置 User - Agent、Referer 等信息。例如：
import requests# 自定义请求头
headers = {'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36','Referer': 'https://www.example.com/index'
}# 发送带有自定义请求头的GET请求
response = requests.get('https://www.example.com/data', headers=headers)通过设置 User - Agent，模拟浏览器的请求，能够大大降低被网站封禁的概率；而 Referer 则可以告诉服务器当前请求的来源页面，使请求更加真实可信。
（二）Cookie 处理
Cookie 是网站用于识别用户身份、跟踪用户会话状态的重要信息。在爬虫开发中，有时需要携带 Cookie 才能访问某些页面或获取特定数据。Requests 库提供了便捷的 Cookie 处理方式，既可以手动设置 Cookie，也可以自动处理服务器返回的 Cookie。
- 手动设置 Cookie：将 Cookie 信息以字典的形式传入cookies参数中，示例如下：
import requests# 手动设置Cookie cookies = {'session_id': '1234567890abcdef','user_id': '123' }# 发送带有手动设置Cookie的请求 response = requests.get('https://www.example.com/user/info', cookies=cookies) - 自动处理 Cookie：Requests 库的Session对象能够自动保存服务器返回的 Cookie，并在后续的请求中自动携带这些 Cookie，非常适合处理需要保持会话状态的场景，例如登录后的一系列操作。示例如下：
import requests# 创建Session对象
session = requests.Session()# 首先发送登录请求，Session会自动保存登录后的Cookie
login_data = {'username': 'your_username','password': 'your_password'
}
session.post('https://www.example.com/login', data=login_data)# 后续请求会自动携带登录后的Cookie，无需手动设置
response = session.get('https://www.example.com/user/order')
print('用户订单信息：', response.text)Session对象的使用，简化了 Cookie 的处理流程，提高了爬虫的开发效率。
（三）代理设置
当爬虫程序频繁向目标网站发送请求时，很容易导致本地 IP 被封禁。此时，使用代理 IP 是解决该问题的有效方法。Requests 库支持通过proxies参数设置 HTTP 和 HTTPS 代理。示例如下：
import requests# 设置代理，key为协议类型，value为代理地址
proxies = {'http': 'http://127.0.0.1:8888','https': 'https://127.0.0.1:8888'
}# 发送带有代理的请求
response = requests.get('https://www.example.com', proxies=proxies)在实际应用中，工程师可以从代理 IP 服务商处获取大量的代理 IP，并通过一定的策略（如随机选择、轮询等）使用这些代理 IP，以降低本地 IP 被封禁的风险。
（四）超时设置
在网络请求过程中，可能会遇到网络拥堵、目标网站响应缓慢等情况，导致请求长时间无响应，从而影响爬虫程序的效率。为了避免这种情况，Requests 库允许设置超时时间，通过timeout参数指定一个时间（单位：秒），如果请求在该时间内未得到响应，则会抛出requests.exceptions.Timeout异常。示例如下：
import requeststry:# 设置超时时间为5秒response = requests.get('https://www.example.com', timeout=5)print('请求成功！')
except requests.exceptions.Timeout:print('请求超时！')通过设置合理的超时时间，能够有效控制请求的时间，提高爬虫程序的稳定性和效率。
三、Requests 库在实际爬虫项目中的应用
（一）静态网页数据爬取
对于静态网页（即网页内容在服务器端生成，客户端获取后无需进一步处理即可看到完整内容），使用 Requests 库可以轻松获取网页的 HTML 源码，然后通过 BeautifulSoup、lxml 等解析库对 HTML 源码进行解析，提取所需的数据。例如，爬取某新闻网站的新闻标题和链接：
import requests
from bs4 import BeautifulSoup# 目标新闻网站URL
news_url = 'https://www.example-news.com'# 发送GET请求获取网页内容
response = requests.get(news_url)
response.encoding = 'utf - 8' # 设置编码，避免中文乱码# 使用BeautifulSoup解析HTML源码
soup = BeautifulSoup(response.text, 'lxml')# 提取新闻标题和链接
news_list = soup.find_all('div', class_='news-item')
for news in news_list:title = news.find('h2').text.strip()link = news.find('a')['href']print(f'新闻标题：{title}\n新闻链接：{link}\n')通过这种方式，能够快速获取静态网页中的数据，满足各种数据采集需求。
（二）API 接口数据爬取
如今，许多网站和应用程序都提供了 API 接口，供开发者获取数据。Requests 库是调用 API 接口的理想工具，只需按照 API 接口的要求，构造正确的请求 URL、请求方法和请求参数，即可获取 API 返回的数据（通常为 JSON 格式）。例如，调用某天气 API 接口获取天气数据：
import requests
import json# 天气API接口URL
weather_api_url = 'https://restapi.amap.com/v3/weather/weatherInfo'# API请求参数
params = {'key': 'your_api_key', # 自己的API密钥'city': '110000', # 城市编码，这里以北京为例'extensions': 'base' # 返回基础天气信息
}# 发送GET请求调用API接口
response = requests.get(weather_api_url, params=params)# 解析API返回的JSON数据
weather_data = json.loads(response.text)# 提取并打印天气信息
if weather_data['status'] == '1':live_weather = weather_data['lives'][0]print(f'城市：{live_weather["city"]}')print(f'天气：{live_weather["weather"]}')print(f'温度：{live_weather["temperature"]}℃')print(f'风力：{live_weather["winddirection"]}{live_weather["windpower"]}')
else:print('获取天气数据失败！')调用 API 接口获取数据具有数据格式规范、获取效率高、易于解析等优点，Requests 库的简洁 API 设计使得调用 API 接口变得非常简单。
四、使用 Requests 库的注意事项
（一）遵守网站 robots 协议
robots 协议（也称为爬虫协议、机器人协议）是网站所有者制定的，用于告知爬虫程序哪些页面可以爬取，哪些页面不可以爬取。在使用 Requests 库进行爬虫开发时，工程师应首先查看目标网站的 robots 协议（通常位于网站根目录下，如https://www.example.com/robots.txt），并遵守协议的规定，不要爬取禁止爬取的页面，以免引发法律纠纷或道德问题。
（二）控制爬取速度
过于频繁的请求会给目标网站的服务器带来较大的压力，甚至可能导致服务器瘫痪。因此，在使用 Requests 库进行爬虫开发时，应合理控制爬取速度，例如在每次请求之间添加一定的时间间隔（可以使用time.sleep()函数）。同时，也可以通过设置并发请求数量来控制爬取速度，避免对目标网站造成过大的影响。
（三）处理异常情况
在爬虫开发过程中，可能会遇到各种异常情况，如网络连接错误、请求超时、服务器返回错误状态码（如 404、500 等）等。为了保证爬虫程序的稳定性和可靠性，应使用 try - except 语句捕获并处理这些异常情况，根据不同的异常类型采取相应的处理措施，例如重新发送请求、记录错误信息、暂停爬取等。
总之，Requests 库作为一款功能强大、易用性高的 HTTP 请求库，是爬虫工程师不可或缺的 “瑞士军刀”。它不仅能够满足各种基础和进阶的 HTTP 请求需求，还能在实际的爬虫项目中发挥重要作用。通过熟练掌握 Requests 库的使用方法，并结合相关的注意事项，爬虫工程师能够更加高效、稳定地完成数据采集任务，为后续的数据分析和应用提供有力的支持。