当前位置：首页 > news >正文

python爬虫发送请求的方法汇总

news 2025/7/5 16:09:01

在Python中，爬虫发送请求的方法有多种，主要依赖于不同的库来实现。以下是几种常用的方法和库：

1. 使用 `requests` 库

requests 是一个非常流行且易于使用的HTTP库，适用于发送各种类型的HTTP请求。

示例：

import requests

url = 'https://example.com'
response = requests.get(url)

if response.status_code == 200:
    print(response.text)
else:
    print(f"Failed to retrieve the page: {response.status_code}")

特点：

简单易用，支持GET、POST、PUT、DELETE等请求方法。
支持会话（Session）保持，方便处理需要登录的网站。
支持自动处理重定向、Cookies等。

2. 使用 `urllib` 库

urllib 是Python标准库的一部分，提供了基本的HTTP请求功能。

示例：

import urllib.request

url = 'https://example.com'
with urllib.request.urlopen(url) as response:
    html = response.read().decode('utf-8')
    print(html)

特点：

无需额外安装，因为它是Python标准库的一部分。
功能相对基础，不如requests强大和易用。

3. 使用 `http.client` 库

http.client 也是Python标准库的一部分，提供了更底层的HTTP请求功能。

示例：

import http.client

conn = http.client.HTTPSConnection("example.com")
conn.request("GET", "/")
response = conn.getresponse()

if response.status == 200:
    print(response.read().decode('utf-8'))
else:
    print(f"Failed to retrieve the page: {response.status}")

conn.close()

特点：

提供了对HTTP协议的更底层控制。
使用起来相对复杂，不如requests和urllib方便。

4. 使用 `aiohttp` 库（异步请求）

aiohttp 是一个异步HTTP客户端/服务器库，适用于需要处理大量并发请求的场景。

示例：

import aiohttp
import asyncio

async def fetch(session, url):
    async with session.get(url) as response:
        return await response.text()

async def main():
    async with aiohttp.ClientSession() as session:
        html = await fetch(session, 'https://example.com')
        print(html)

# 运行异步主函数
asyncio.run(main())