当前位置: 首页 > news >正文

python urllib模块怎么使用

URL 处理库

Python 提供了多个库用于处理 URL,常用的有 urllibrequestsurlparse(Python 3 中为 urllib.parse)。以下是这些库的主要功能和用法。

urllib 模块

urllib 是 Python 的标准库之一,包含多个子模块用于处理 URL 相关操作:

from urllib.request import urlopen
from urllib.parse import urlparse, urljoin# 打开 URL 并读取内容
response = urlopen('https://www.example.com')
content = response.read()# 解析 URL
parsed_url = urlparse('https://www.example.com/path?query=123')
print(parsed_url.scheme)  # 'https'
print(parsed_url.netloc)  # 'www.example.com'
print(parsed_url.path)    # '/path'
print(parsed_url.query)   # 'query=123'# 拼接 URL
base_url = 'https://www.example.com/path'
relative_url = 'subpath'
full_url = urljoin(base_url, relative_url)
print(full_url)  # 'https://www.example.com/subpath'

requests 库

requests 是第三方库,提供了更简洁的 API 用于发送 HTTP 请求和处理 URL:

import requests# 发送 GET 请求
response = requests.get('https://www.example.com')
print(response.status_code)  # 200
print(response.text)         # HTML 内容# 发送 POST 请求
data = {'key': 'value'}
response = requests.post('https://www.example.com/post', data=data)# 处理 URL 参数
params = {'query': 'python', 'page': 1}
response = requests.get('https://www.example.com/search', params=params)
print(response.url)  # 'https://www.example.com/search?query=python&page=1'

urlparse 和 urljoin

urlparseurljoinurllib.parse 模块中的函数,专门用于解析和拼接 URL:

from urllib.parse import urlparse, urljoin# 解析 URL
url = 'https://www.example.com:8080/path/to/page?query=python#section'
parsed = urlparse(url)
print(parsed.scheme)   # 'https'
print(parsed.netloc)   # 'www.example.com:8080'
print(parsed.path)     # '/path/to/page'
print(parsed.query)    # 'query=python'
print(parsed.fragment) # 'section'# 拼接 URL
base = 'https://www.example.com/path/'
relative = 'subpath'
full_url = urljoin(base, relative)
print(full_url)  # 'https://www.example.com/path/subpath'

编码和解码 URL

URL 中的特殊字符需要进行编码和解码处理:

from urllib.parse import quote, unquote, urlencode# 编码 URL
encoded = quote('python url example')
print(encoded)  # 'python%20url%20example'# 解码 URL
decoded = unquote('python%20url%20example')
print(decoded)  # 'python url example'# 编码查询参数
params = {'q': 'python url', 'page': 1}
encoded_params = urlencode(params)
print(encoded_params)  # 'q=python+url&page=1'

总结

Python 提供了多种工具用于处理 URL,包括标准库 urllib 和第三方库 requestsurllib.parse 模块适合解析和拼接 URL,而 requests 更适合发送 HTTP 请求和处理响应。根据具体需求选择合适的工具可以更高效地完成 URL 相关操作。

http://www.dtcms.com/a/324812.html

相关文章:

  • 【软件测试】概念篇 — 详解
  • 广东省省考备考(第七十二天8.10)——言语理解与表达、判断推理(强化训练)
  • APISIX 路由优先级
  • SupChains团队:化学品制造商 ChampionX 供应链需求预测案例分享(十七)
  • 托福阅读记录
  • TypeScript 中的as const是什么?
  • 基于Actor-Critic策略的Atari中的pong_v3
  • 机器学习第八课之K-means聚类算法
  • 零基础学编程,编程从入门到精通系列教程,附:编程工具箱之公用事件的用法#零基础学编程从哪里开始#新手学编程先学什么#公用事件构件编程用法
  • Lua语言变量、函数、运算符、循环
  • 小学数学计算技巧全攻略
  • 攻击者瞄准加密技术的基础:智能合约
  • [网安工具] Web 漏洞扫描工具 —— GoBy · 使用手册
  • Video Lecture 8 Page Fault
  • 7、西门子PLC基础术语:数据单位、存储区域、寻址方式、字节序
  • LightGBM 与 GBDT 在机器学习中的性能与特点比较
  • element-ui el-progress在有小数的情况下,会换行显示。解决不换行的问题。
  • redis集群-本地环境
  • 【前端基础】14、CSS设置背景(background相关的)
  • 正则表达式常用语法参考
  • STM32H7 以太网配置引申的内存问题
  • A2A协议深度理解与实践
  • 解决 .NET Core 6.0 + PostgreSQL 网站首次连接缓慢问题
  • 安全生产基础知识(一)
  • 去除Edge微软浏览器与Chrome谷歌浏览器顶部出现“此版本的Windows不再支持升级Windows 10”的烦人提示
  • 深度剖析 Linux 信号:从基础概念到高级应用,全面解析其在进程管理与系统交互中的核心作用与底层运行机制
  • 【牛客刷题】REAL799 翻转01 (饿了么面试题)
  • Vue 事件冒泡处理指南:从入门到精通
  • 亚麻云之监控管家——CloudWatch基础监控
  • socket编程中系统调用send()详细讲解