python如何获取html中附件链接，并下载保存附件
在Python中，要获取HTML中的附件链接并下载保存附件，你通常需要执行以下步骤：
-
解析HTML内容：使用像BeautifulSoup这样的库来解析HTML并找到包含附件链接的标签（例如
<a>标签，它们通常有一个href属性指向附件）。 -
提取附件链接：从解析后的HTML中提取出你感兴趣的附件链接。这通常意味着你需要检查
href属性的值，并可能还需要检查其他属性（如download）或标签内容（如文本）来确定链接是否指向附件。 -
下载附件：使用Python的内置库（如
urllib或requests）来下载附件。 -
保存附件：将下载的附件保存到本地文件系统中。
以下是一个示例代码，展示了如何执行这些步骤：
import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin, urlparse
# 示例HTML内容（这里应该是一个实际的URL或HTML字符串）
# html_url = 'http://example.com/page_with_attachments.html'
html_content = """
<!DOCTYPE html>
<html>
<head>
<title>Page with Attachments</title>
</head>
<body>
<h1>Download Attachments</h1>
<ul>
<li><a href="/downloads/file1.pdf">File 1 (PDF)</a></li>
<li><a href="https://example.com/downloads/file2.docx">File 2 (DOCX)</a></li>
<li><a href="/path/to/file3.zip">File 3 (ZIP)</a></li>
</ul>
</body>
</html>
"""
# 如果html_content是一个URL，你应该使用requests来获取HTML内容
# response = requests.get(html_url)
# html_content = response.text
# 解析HTML内容
soup = BeautifulSoup(html_content, 'lxml')
# 提取附件链接
# 这里我们假设附件链接是相对路径或绝对路径（包括域名的），并且我们想要下载所有.pdf, .docx, 和 .zip文件
base_url = 'http://example.com' # 如果HTML内容是本地字符串，你可能需要手动设置这个基础URL
attachment_links = []
for a_tag in soup.find_all('a', href=True):
href = a_tag['href']
# 处理相对路径
full_url = urljoin(base_url, href)
# 检查文件扩展名（这里只是示例，你可能需要更复杂的逻辑来确定哪些链接是附件）
if full_url.lower().endswith(('.pdf', '.docx', '.zip')):
attachment_links.append(full_url)
# 下载并保存附件
download_folder = 'downloads' # 你想要保存附件的文件夹
os.makedirs(download_folder, exist_ok=True)
for link in attachment_links:
# 获取文件名（从URL的最后一部分）
filename = os.path.basename(urlparse(link).path)
# 构建保存文件的完整路径
file_path = os.path.join(download_folder, filename)
# 下载文件
with requests.get(link, stream=True) as r:
r.raise_for_status() # 如果请求出错，抛出HTTPError异常
with open(file_path, 'wb') as f:
for chunk in r.iter_content(chunk_size=8192):
f.write(chunk)
print(f"Downloaded {len(attachment_links)} attachments to {download_folder}")
注意：
- 在这个示例中，
base_url被设置为'http://example.com'。如果HTML内容是来自一个实际的URL，你应该使用requests.get(html_url).text来获取HTML内容，并且base_url可以设置为urlparse(html_url).geturl().rsplit('/', 1)[0] + '/'（但这只适用于简单的URL结构；对于更复杂的网站，你可能需要更智能地解析基础URL）。 - 附件链接的提取是基于文件扩展名的，这可能不是最可靠的方法。在实际应用中，你可能需要检查链接的文本内容、
download属性或其他信号来确定链接是否指向附件。 - 下载大文件时，使用
stream=True和iter_content可以更有效地管理内存使用。