Python爬虫结合API接口批量获取PDF文件
1. 引言
在当今数据驱动的时代，PDF文件作为重要的信息载体，广泛应用于学术论文、技术文档、商业报告等领域。手动下载PDF文件效率低下，尤其是在需要批量获取时，传统方法显得力不从心。
Python爬虫结合API接口可以高效、自动化地批量获取PDF文件。相较于传统的网页爬取方式，API接口通常返回结构化数据，更易于解析，且稳定性更高。本文将详细介绍如何利用Python爬虫调用API接口批量下载PDF文件，并提供完整的代码实现。
2. 技术方案概述
本方案的核心步骤如下：
- API接口分析：确定目标网站的API接口，分析请求参数和返回数据格式。
- HTTP请求发送：使用Python的
requests库发送HTTP请求，获取PDF文件列表。 - 数据解析：解析API返回的JSON数据，提取PDF下载链接。
- PDF文件下载：遍历下载链接，使用
requests或aiohttp（异步）下载文件。 - 文件存储与管理：将PDF文件按需分类存储，并处理可能的异常情况。
3. 环境准备
在开始之前，确保安装以下Python库：
requests：用于发送HTTP请求。tqdm：显示下载进度条。aiohttp（可选）：用于异步高效下载。
4. 实战：批量获取PDF文件
4.1 目标API分析
假设我们需要从一个学术论文网站（如arXiv、Springer等）批量下载PDF文件。以arXiv API为例：
- API接口：
http://export.arxiv.org/api/query - 请求参数：
search_query：搜索关键词（如cat:cs.CV表示计算机视觉领域）。max_results：返回的最大结果数。start：分页起始位置。
返回的数据是Atom XML格式，包含论文标题、摘要及PDF下载链接。
4.2 发送API请求并解析数据
import requests
from bs4 import BeautifulSoup
import os
from tqdm import tqdmdef fetch_pdf_links_from_arxiv(query="cat:cs.CV", max_results=10):"""从arXiv API获取PDF下载链接"""base_url = "http://export.arxiv.org/api/query"params = {"search_query": query,"max_results": max_results,"start": 0}response = requests.get(base_url, params=params)if response.status_code != 200:print("API请求失败！")return []soup = BeautifulSoup(response.text, "xml")entries = soup.find_all("entry")pdf_links = []for entry in entries:title = entry.title.text.strip()pdf_url = Nonefor link in entry.find_all("link"):if link.get("title") == "pdf":pdf_url = link.get("href")breakif pdf_url:pdf_links.append((title, pdf_url))return pdf_links
4.3 下载PDF文件
部分API可能限制访问频率，可使用代理IP或设置请求间隔：
import requests
import os
from tqdm import tqdmdef download_pdfs(pdf_links, save_dir="pdf_downloads"):"""下载PDF文件并保存到本地（使用代理）"""# 代理配置proxyHost = "www.16yun.cn"proxyPort = "5445"proxyUser = "16QMSOML"proxyPass = "280651"# 构造代理字典proxies = {"http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}","https": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"}# 请求头设置headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36"}if not os.path.exists(save_dir):os.makedirs(save_dir)for title, pdf_url in tqdm(pdf_links, desc="下载PDF（代理版）"):try:# 使用代理发送请求response = requests.get(pdf_url,stream=True,proxies=proxies,headers=headers,timeout=30 # 设置超时时间)if response.status_code == 200:# 替换文件名中的非法字符safe_title = "".join(c if c.isalnum() else "_" for c in title)file_path = os.path.join(save_dir, f"{safe_title}.pdf")# 分块写入文件with open(file_path, "wb") as f:for chunk in response.iter_content(1024):f.write(chunk)else:print(f"下载失败: {title} | 状态码: {response.status_code} | URL: {pdf_url}")except requests.exceptions.RequestException as e:print(f"请求异常: {title} | 错误: {e}")except Exception as e:print(f"未知错误: {title} | 错误: {e}")# 示例调用
if __name__ == "__main__":pdf_links = fetch_pdf_links_from_arxiv(max_results=5)download_pdfs(pdf_links)
5. 进阶优化
自动分类存储
根据PDF内容或元数据自动分类存储：
import shutildef categorize_pdf(file_path, category):"""按类别存储PDF"""category_dir = os.path.join("categorized_pdfs", category)if not os.path.exists(category_dir):os.makedirs(category_dir)shutil.move(file_path, os.path.join(category_dir, os.path.basename(file_path)))
6. 结论
本文介绍了如何利用Python爬虫结合API接口批量获取PDF文件，涵盖了：
- API请求与解析（arXiv示例）。
- PDF文件下载（同步+异步优化）。
- 存储与分类管理。
- 反爬策略与代理设置。