济源城乡建设局网站最全的wordpress 中文手册

1. request模块简介与安装
request在爬虫中最重要的就是帮助我们发送请求
request基本使用
参考网址：https://requests.readthedocs.io/projects/cn/zh-cn/latest/
2. 核心特性：

• 简单易用的API无需手动处理连接、编码或者复杂的参数设置，一行代码即可发送请求
• 支持所有的HTTP方法GET、post、put、delete、head、options等
• 自动处理多种功能
• 丰富的请求配置支持设置请求头
  3. pip安装requests
  终端命令： pip install requests（如果出现pip不是内部或者外部命令，也不是可运行的程序或者批处理文件，原因是没有配置pip的环境变量）
  安装之后检查一下： pip show requests
  执行后的结果：
  这里可以看到requests的版本是2.32.4

4. 发送get请求

import requests# 执行爬虫：爬虫流程
# 1.准备目标网址的url地址
# 2.发起获取网页返回结果
# 3.处理响应结果
# 4.储存数据# url地址
url = 'https://www.baidu.com'# 向url发送get请求
response = requests.get(url)# 打印响应结果,response.text一般能够根据响应自动解码
# print(response.text)
#
response.encoding = 'utf-8'
# 获取网页源码，为了能够正确解码网页内容，可以尝试以下几种方式：
# response.content.decode()
# response.content.decode('GBK')
# response.text
# 推荐：最稳妥的方式是使用response.content.decode(),因为它能够通过指定编码的方式来确保正确解码
# print(response.text)try:content = response.content.decode()
except UnicodeDecodeError:try:content = response.content.decode('gbk')except UnicodeDecodeError:content = response.textprint(content)

6. 响应数据的获取

import requests# url地址
url = 'https://www.baidu.com'# 向url发送get请求
response = requests.get(url)# 3.打印结果
print("---------------请求地址------------")
print(response.url)
print("---------------响应体str类型结果------------")
print(response.text)
print("---------------响应头------------")
print(response.headers)
print("---------------响应状态码------------")
print(response.status_code)
print("---------------响应对应的请求头------------")
print(response.request.headers)
print("---------------响应体bytes类型------------")
print(response.content)
print("---------------响应对应请求的cookie------------")
print(response.request.headers.get('cookies'))
print("---------------响应的cookie,经过了set cookie的动作------------")
print(response.cookies)
print("---------------响应对应请求的url------------")
print(response.url)

8. 获取网页源码的通用方式
9. response的其他属性
10. 携带http请求头
11. 图片下载案例
12. 字符集编码