2021没封的网站uc程伟网络营销

一、request_基本使用

pip install requests -i https://pypi.douban.com/simple 

一个类型六个属性

r.text	获取网站源码
r.encoding	访问或定制编码方式
r.url	获取请求的url
r.content	响应的字节类型
r.status_code	响应的状态码
r.headers	响应的头信息

import requestsurl='http://www.baidu.com'resopnse=requests.get(url=url)# 第一类型和六个属性
# Response类型
print(type(resopnse))# 设置响应的编码格式
resopnse.encoding='utf-8'
# 以字符串的形式
print(resopnse.text)# 返回一个url地址
print(resopnse.url)# 返回的是二进制数据
print(resopnse.content)# 返回响应的状态码
print(resopnse.status_code)# 返回的是响应头
print(resopnse.headers)

二、requests_get请求

定制参数

1、参数使用params 传递

2、参数无需urlencode编码

3、不需要请求对象的定制

4、请求资源路径中？可加可不加

# urllib
# 1 一个类型六个方法
# 2 get 请求
# 3 post 请求
# 4 ajax get 请求
# 5 ajax post 请求
# 6 cookie登录
# 7 代理# requsets
# 1 一个类型六个属性
# 2 get 请求
# 3 post 请求
# 4 代理
# 5 cookie 验证码import requestsurl='http://www.baidu.com/s?'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}data={'wd':'北京'
}# url   请求资源路径
# params 参数
# kwargs 字典
response=requests.get(url=url,params=data,headers=headers)content=response.textprint(content)# 参数使用params传递
# 参数无需urlencode编码
# 不需要请求对象定制
# 请求资源路径中的?可加可不加

三、request_post请求

get和post区别？

1： get 请求的参数名字是 params post 请求的参数的名字是 data

2： 请求资源路径后面可以不加?

3： 不需要手动编解码

4： 不需要做请求对象的定制

import requestsurl='https://fanyi.baidu.com/sug'headers={'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36'
}data={'kw':'eye'
}#url 请求地址
#data 请求参数
#kwarg 字典
response=requests.post(url=url,data=data,headers=headers)content=response.textobj=response.json()
print(obj)#总结
# 1 post请求 是不需要编解码
# 2 post请求的参数是data
# 3 不需要请求对象的定制

四、使用requsests和xpath获取数据

示例 ：获取 百度一下

代码如下：

# 使用requests和Xpath获取数据
from lxml import etree
import requestsurl = 'https://www.baidu.com/'
headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) Chrome/65.0.3325.181'}response = requests.get(url,headers = headers)# 设置响应的编码格式
response.encoding='utf-8'# 获取网页源码
content= response.content.decode('utf-8')
# print(content)# xpath解析
html=etree.HTML(content,parser=etree.HTMLParser(encoding='utf-8'))
request=html.xpath('//*[@id="su"]/@value')[0]
print(request)

运行结果：