北京市住房和城乡建设部网站官网网络优化工程师

Python 网络爬虫教程与案例详解

在当今数字化时代，数据的价值愈发凸显。Python 作为一门强大的编程语言，在数据获取领域有着广泛的应用，其中网络爬虫便是一项重要的技术。网络爬虫能够自动从网页中提取所需数据，极大地提高了数据收集的效率。接下来，让我们深入学习 Python 网络爬虫的相关知识，并通过实际案例来加深理解。

一、Python 网络爬虫基础

1.1 什么是网络爬虫

网络爬虫，简单来说，就是模拟人类用户在浏览器中访问网页的行为，自动地从互联网上获取数据的程序。它可以像人一样在网页之间跳转、点击链接、填写表单等操作，只不过爬虫的速度更快且不知疲倦。例如，搜索引擎的爬虫会遍历互联网上的大量网页，抓取网页内容，以便为用户提供搜索服务。

1.2 爬虫的工作原理

当我们在浏览器中输入一个网址并回车后，浏览器会向服务器发送一个 HTTP 请求，服务器接收到请求后，根据请求的内容返回相应的 HTML、CSS、JavaScript 等文件。浏览器再对这些文件进行解析和渲染，最终呈现出我们看到的网页界面。

爬虫的工作原理与之类似。它首先向目标网页发送 HTTP 请求，获取服务器返回的响应内容。这个响应内容通常是网页的源代码，包含了我们想要的数据。然后，爬虫需要对这些源代码进行解析，从中提取出有用的信息，比如文本、图片链接、表格数据等。最后，将提取到的数据进行存储，以便后续分析和使用。

1.3 爬虫的合法性与道德性

在进行网络爬虫开发之前，我们必须明确爬虫的合法性和道德性问题。虽然爬虫技术本身是中立的，但使用不当可能会违反法律法规和网站的使用条款。例如，未经授权爬取涉及个人隐私、商业机密的数据，或者对网站造成过大的负载影响其正常运行，都可能面临法律风险。

在道德层面，我们也应该尊重网站的意愿。许多网站都有明确的robots.txt文件，该文件规定了爬虫可以和不可以访问的内容。我们在编写爬虫时，应该遵守这些规则，避免对网站造成不必要的干扰。

二、Python 爬虫相关库介绍

2.1 requests 库

requests库是 Python 中用于发送 HTTP 请求的第三方库，它的使用非常简单且功能强大，相比 Python 内置的urllib库更加人性化。使用requests库前，需要先安装它，可以通过pip install requests命令进行安装。

下面是一个使用requests库获取网页内容的简单示例：

import requests
url = 'https://www.example.com'  # 替换为你要爬取的网址
response = requests.get(url)
if response.status_code == 200:print(response.text)
else:print(f'请求失败，状态码：{response.status_code}')

在这个示例中，我们使用requests.get()方法向目标网址发送了一个 GET 请求，并通过response.status_code检查请求是否成功。如果状态码为 200，表示请求成功，response.text中存储的就是网页的源代码。

2.2 BeautifulSoup 库

BeautifulSoup库是用于解析 HTML 和 XML 文档的库，它可以将复杂的 HTML 文档转换为一个树形结构，方便我们从中提取所需的数据。同样，在使用前需要通过pip install beautifulsoup4进行安装。

结合上面requests库获取到的网页内容，使用BeautifulSoup库来提取网页标题的示例如下：

from bs4 import BeautifulSoup
import requests
url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')title = soup.title.stringprint(f'网页标题为：{title}')
else:print(f'请求失败，状态码：{response.status_code}')

这里我们创建了一个BeautifulSoup对象soup，并指定使用html.parser解析器。然后通过soup.title.string获取到了网页的标题。

2.3 lxml 库

lxml库也是一个高效的 HTML 和 XML 解析库，它支持 XPath 语法，在处理大型 XML 和 HTML 文档时性能表现出色。安装命令为pip install lxml。

使用lxml库结合 XPath 语法提取网页中所有链接的示例代码如下：

from lxml import etree
import requests
url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:html = etree.HTML(response.text)links = html.xpath('//a/@href')for link in links:print(link)else:print(f'请求失败，状态码：{response.status_code}')

在这个例子中，html.xpath('//a/@href')表示选取所有<a>标签的href属性值，即网页中的所有链接。

2.4 re 库（正则表达式库）

re库是 Python 内置的正则表达式库。正则表达式是一种强大的文本匹配工具，可以用于在复杂的文本中查找符合特定模式的字符串。在爬虫中，当其他解析库无法满足复杂的数据提取需求时，正则表达式就派上用场了。

例如，要从一段文本中提取所有的邮箱地址，可以使用以下代码：

import re
text = "我的邮箱是[e-mail]，他的邮箱是[e-mail]"
pattern = r'\w+@\w+\\.\w+'
emails = re.findall(pattern, text)
print(emails)

这里r'\w+@\w+\.\w+'是一个正则表达式模式，\w表示匹配字母、数字或下划线，+表示匹配前面的字符一次或多次。re.findall()函数会返回所有符合该模式的字符串。

三、Python 网络爬虫案例实战

3.1 案例一：爬取网页文章内容

假设我们要爬取某个博客网站上的文章内容。以某技术博客为例，我们的目标是获取文章的标题、发布时间和正文内容。

import requests
from bs4 import BeautifulSoup
url = 'https://www.exampleblog.com/article/123'
response = requests.get(url)
if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')# 获取文章标题title = soup.find('h1', class_='article - title').text.strip()# 获取发布时间time = soup.find('span', class_='article - time').text.strip()# 获取正文内容content = soup.find('div', class_='article - content').text.strip()print(f'文章标题：{title}')print(f'发布时间：{time}')print(f'正文内容：{content}')
else:print(f'请求失败，状态码：{response.status_code}')

在这个案例中，我们通过BeautifulSoup库的find()方法，根据 HTML 标签和类名找到了对应的元素，提取出了我们需要的数据。

3.2 案例二：爬取图片

现在我们来实现一个爬取网页上图片的爬虫。以某图片分享网站为例，我们要下载该网站上所有图片。

import requests
from bs4 import BeautifulSoup
import os
url = 'https://www.exampleimage.com'
response = requests.get(url)
if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')img_tags = soup.find_all('img')if not os.path.exists('images'):os.makedirs('images')for img in img_tags:img_url = img.get('src')if img_url.startswith('http'):img_response = requests.get(img_url)img_name = img_url.split('/')[-1]with open(f'images/{img_name}', 'wb') as f:f.write(img_response.content)else:print(f'请求失败，状态码：{response.status_code}')

这段代码首先获取网页中所有的<img>标签，然后通过requests.get()方法获取图片的二进制内容，并将其写入本地文件。注意，我们创建了一个名为images的文件夹来存储下载的图片。

3.3 案例三：爬取表格数据

假设我们要从 [某数据统计网站](https://www.exampledata.com/data - table) 上爬取一个表格中的数据。该表格包含了一些产品的名称、价格和销量信息。

import requests
from bs4 import BeautifulSoup
url = 'https://www.exampledata.com/data - table'
response = requests.get(url)
if response.status_code == 200:soup = BeautifulSoup(response.text, 'html.parser')table = soup.find('table', class_='data - table - class')if table:rows = table.find_all('tr')for row in rows:cols = row.find_all('td')if cols:product_name = cols[0].text.strip()price = cols[1].text.strip()sales = cols[2].text.strip()print(f'产品名称：{product_name}，价格：{price}，销量：{sales}')else:print(f'请求失败，状态码：{response.status_code}')

在这个案例中，我们先找到包含表格的<table>标签，然后遍历表格的每一行（<tr>标签），再在每一行中找到每一列（<td>标签）的数据并进行打印。

四、应对反爬虫机制

许多网站为了防止爬虫过度抓取数据，会设置一些反爬虫机制。常见的反爬虫机制有以下几种：

User - Agent 检测：网站通过检查请求头中的 User - Agent 字段来判断请求是否来自浏览器。爬虫可以在请求头中设置一个合理的 User - Agent 来伪装成浏览器，例如：

headers = {'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36'
}
response = requests.get(url, headers = headers)

IP 限制：如果某个 IP 在短时间内发送过多请求，网站可能会限制该 IP 的访问。解决方法可以使用代理 IP，每次请求时随机更换代理 IP，避免单个 IP 被封禁。可以通过一些代理 IP 服务提供商获取代理 IP 列表，然后在代码中使用：

proxies = {'http': 'http://your_proxy_ip:port','https': 'https://your_proxy_ip:port'
}
response = requests.get(url, headers = headers, proxies = proxies)

验证码：当网站检测到异常请求时，可能会弹出验证码要求用户验证。对于简单的验证码，可以使用一些 OCR（光学字符识别）库进行识别，如pytesseract库。但对于复杂的验证码，可能需要人工辅助或使用第三方验证码识别服务。

五、总结

通过本文的学习，我们了解了 Python 网络爬虫的基本概念、工作原理，学习了常用的爬虫库，如requests、BeautifulSoup、lxml和re库，并通过实际案例掌握了爬取网页文章内容、图片和表格数据的方法。同时，我们也认识到了反爬虫机制以及应对方法。

网络爬虫是一把双刃剑，合理使用可以帮助我们高效地获取有价值的数据，但滥用则可能带来法律风险和道德问题。在进行爬虫开发时，请务必遵守法律法规和网站的相关规定，以合法、合规、道德的方式使用这项技术。希望本文能为你在 Python 网络爬虫的学习和实践中提供有益的帮助，让你能够在数据获取的道路上迈出坚实的步伐。