爬虫系列之发送请求与响应《一》
一、请求组成
1.1 请求方式：GET和POST请求
GET:从服务器获取，请求参数直接附在URL之后，便于查看和分享，常用于获取数据和查询操作 POST：用于向服务器提交数据，其参数不会显示在URL中，而是包含在请求体中，适用于要保密的数据处理，如表单提交
1.2 请求url：目标url(链接)
1.3 请求头
请求头信息告诉服务器有关于客户端请求的信息
（1）User-Agent 的识别与应用
User-Agent报头携带客户端身份信息，如浏览器名称和版本，服务器利用这些信息进行内容适配或返回特定响应，相当于人的身份证
（2） Referer 报头的跟踪功能
Referer报头记录了请求发起的原始页面url，通过分析这一信息，可以追踪用户在网址键得到导航路径（从哪个页面跳转过来的）（3）Cookie 报头作用
Cookie报头使浏览器能够向服务器发送存储的用户信息，这些小型数据体支持状态维护、用户认证等web功能，主要帮助我们维持登录状态
1.4 请求体：携带的参数
二、GET和POST传参
注意：在浏览器发送的请求都是get请求，post请求只能在代码中使用
2.1 get 传参
方法一：
response = requests.get(url='https://httpbin.org/get?age=18&name=tom') 直接写在url里面，问号？后面的就是携带的参数，多个参数用&隔开
方法二：
params ={
"age":18
}
response = requests.get(url='https://httpbin.org/get?age=18',params=params) 写在参数里面
2.2 POST 传参
data = {
"user":'tom'
}
response = requests.post(url='https://httpbin.org/post',headers=header,data=data)三、利用开发者工具查看携带的参数
在浏览器按下 F12 打开开发者工具
携带参数才会有载荷，载荷里面可以查看携带的参数
四、实战之爬取百度首页
前提：需要安装依赖模块 requests
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple完整步骤
import requests
# 1,身份伪装
header={
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/133.0.0.0 Safari/537.36"
}
# 2,目标url
url = 'https://www.baidu.com/'
# 3,发起get请求
response = requests.get(url=url,headers=header)
# 4,打印当前内容的编码格式,再去对比开发者工具当中响应内容的编码，要对应上才不会乱码
print("编码格式为：",response.encoding)
# 5,修改编码格式
response.encoding="utf-8"
# 6,查看请求头字段:查看是否需要进行伪装
print(response.request.headers)
# 7,打印结果
print(response.text) # .text 是以字符串返回的特别提醒：查看网页元素的编码格式参照以下步骤
