当前位置：首页 > news >正文

python获取网页内容靠谱的做法

news 来源：原创 2025/5/9 21:06:02

获取网页内容 response = requests.get(url, verify=False) 通过这种方式下载网址不太靠谱, 容易出 ssl错误 requests.exceptions.SSLError: HTTPSConnectionPool(host='agri.hainan.gov.cn', port=443): Max retries exceeded with url: /hnsnyt/xxgk/gfxwj/index_1.html (Caused by SSLError(SSLEOFError(8, '[SSL: UNEXPECTED_EOF_WHILE_READING] EOF occurred in violation of protocol (_ssl.c:1006)'))) , 下面是给出靠谱的做法

如果你希望使用更加安全和可靠的方式下载网页内容，并且希望避免 requests 中的 SSL 问题，有几个替代方案和改进方法，可以更好地处理 SSL 验证、证书问题等。以下是几种更安全的方法：

方法 1: 使用 `httpx` 库

httpx 是 requests 的一个替代库，支持异步请求，也有更好的 SSL 验证功能。httpx 默认会进行 SSL 证书验证，但可以在需要时进行配置。

安装 httpx：

pip install httpx

使用示例：

import httpx

url = 'https://agri.hainan.gov.cn/hnsnyt/xxgk/gfxwj/index_1.html'

# 创建一个客户端对象
with httpx.Client() as client:
    response = client.get(url)
    print(response.text)

如果你遇到 SSL 错误，可以通过调整 verify 参数来禁用 SSL 验证，尽管这仍然不推荐用于生产环境：

response = client.get(url, verify=False)

方法 2: 使用 `urllib3` 库

urllib3 是 Python 的一个高级 HTTP 客户端，处理 SSL 的方式比 requests 更加底层，适合需要精细控制 SSL 配置的场景。你可以通过 urllib3 来下载网页并管理 SSL 设置。

安装 urllib3：

pip install urllib3

使用示例：

import urllib3

# 创建一个 PoolManager，支持更细粒度的控制
http = urllib3.PoolManager()

url = 'https://agri.hainan.gov.cn/hnsnyt/xxgk/gfxwj/index_1.html'

# 禁用 SSL 验证（如果不关心安全）
response = http.request('GET', url, retries=3, timeout=5.0)
print(response.data.decode('utf-8'))

如果你希望进行更精细的 SSL 配置，可以直接使用 SSLContext 来设置证书验证。

方法 3: 使用 `aiohttp` (异步请求)

如果你需要进行多个异步 HTTP 请求，aiohttp 是一个非常强大的异步 HTTP 客户端库，支持协程，可以让你以更高效的方式进行网络请求。它也有更好的 SSL 处理机制。

安装 aiohttp：

pip install aiohttp

使用示例：

import aiohttp
import asyncio

async def fetch(url):
    async with aiohttp.ClientSession() as session:
        async with session.get(url) as response:
            return await response.text()

url = 'https://agri.hainan.gov.cn/hnsnyt/xxgk/gfxwj/index_1.html'

# 异步运行
html = asyncio.run(fetch(url))
print(html)

如果遇到 SSL 问题，可以通过 verify_ssl 参数来禁用 SSL 验证：

async with session.get(url, ssl=False) as response:

方法 4: 使用 `pycurl` 库（更底层，支持更多配置）

pycurl 是 Python 对 libcurl 的封装，提供了更多的配置选项，特别适合对 SSL 证书和协议进行精细控制。

安装 pycurl：

pip install pycurl

使用示例：

import pycurl
from io import BytesIO

url = 'https://agri.hainan.gov.cn/hnsnyt/xxgk/gfxwj/index_1.html'

# 创建一个缓冲区来接收响应
buffer = BytesIO()

# 创建 cURL 对象
c = pycurl.Curl()
c.setopt(c.URL, url)
c.setopt(c.WRITEDATA, buffer)

# 禁用 SSL 验证
c.setopt(c.SSL_VERIFYPEER, 0)  # 不验证对方的证书
c.setopt(c.SSL_VERIFYHOST, 0)  # 不验证主机

# 执行请求
c.perform()

# 获取结果
response = buffer.getvalue().decode('utf-8')
print(response)

方法 5: 使用 `certifi` 自定义证书路径

如果 SSL 错误是由于缺少根证书，你可以通过 certifi 来确保使用最新的证书链。 certifi 提供了 Mozilla 的证书集合，可以帮助你避免 SSL 错误。

安装 certifi：

pip install certifi

然后你可以在请求中显式地指定证书路径，确保使用最新的根证书。

import requests
import certifi

url = 'https://agri.hainan.gov.cn/hnsnyt/xxgk/gfxwj/index_1.html'
response = requests.get(url, verify=certifi.where())  # 使用 certifi 的证书路径
print(response.text)