当前位置：首页 > news >正文

用Python爬虫抓取数据并保存为JSON的完整指南

news 2025/7/9 3:05:06

本文将深入探讨如何利用Python爬虫技术抓取网页数据，并通过专业的数据处理流程将其保存为JSON格式。我们将以电商网站产品数据抓取为例，演示从基础实现到生产级优化的完整流程，涵盖反爬策略应对、数据清洗和大规模存储等关键环节。

一、环境准备

在开始编写爬虫之前，我们需要准备好开发环境。首先，确保已经安装了Python。推荐使用Python 3.7及以上版本，因为这些版本对爬虫开发的支持更好。接下来，安装以下必要的库：

requests：用于发送网络请求。
BeautifulSoup：用于解析HTML文档。
json：Python内置的库，用于处理JSON格式数据。

二、实战：抓取数据并保存为JSON

（一）目标网站分析

为了更好地展示爬虫的实现过程，我们选择一个简单的目标网站进行数据抓取。假设我们要抓取一个新闻网站的新闻标题和链接。首先，我们需要分析目标网站的HTML结构，确定数据的存储位置。可以使用浏览器的开发者工具（如Chrome DevTools）查看网页的HTML代码，找到新闻标题和链接所在的标签和类名。

（二）编写爬虫代码

以下是完整的Python爬虫代码，用于抓取目标网站的数据并保存为JSON格式：

import requests
from bs4 import BeautifulSoup
import json

# 代理信息
proxyHost = "www.16yun.cn"
proxyPort = "5445"
proxyUser = "16QMSOML"
proxyPass = "280651"

# 设置代理
proxies = {
    "http": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}",
    "https": f"http://{proxyUser}:{proxyPass}@{proxyHost}:{proxyPort}"
}

# 目标网站URL
url = "https://example.com/news"

# 发送网络请求
try:
    response = requests.get(url, proxies=proxies, timeout=10)  # 设置超时时间为10秒
    response.raise_for_status()  # 检查请求是否成功
except requests.exceptions.RequestException as e:
    print(f"请求失败，错误信息：{e}")
    print("如果需要该网页的解析内容，请检查网页链接的合法性，或稍后重试。")
else:
    # 使用BeautifulSoup解析HTML内容
    soup = BeautifulSoup(response.text, 'html.parser')
    
    # 查找新闻标题和链接
    news_items = soup.find_all('div', class_='news-item')  # 假设新闻内容在class为news-item的div中
    
    # 创建一个列表存储新闻数据
    news_data = []
    
    for item in news_items:
        title = item.find('h2').text.strip()  # 假设标题在h2标签中
        link = item.find('a')['href']  # 假设链接在a标签的href属性中
        
        # 将新闻数据存储为字典
        news_item = {
            'title': title,
            'link': link
        }
        
        # 将字典添加到列表中
        news_data.append(news_item)
    
    # 将数据保存为JSON格式
    with open('news.json', 'w', encoding='utf-8') as f:
        json.dump(news_data, f, ensure_ascii=False, indent=4)
    
    print("数据已成功保存到news.json文件中")

（三）代码解析

网络请求：使用requests.get()方法发送GET请求，获取目标网站的HTML内容。
HTML解析：使用BeautifulSoup解析HTML内容，通过find_all()方法查找包含新闻数据的标签。
数据提取：从HTML中提取新闻标题和链接，并将它们存储为字典。
数据保存：使用json.dump()方法将数据保存为JSON格式。ensure_ascii=False参数确保中文字符能够正确保存，indent=4参数使JSON文件格式化为可读的格式。