打名字就说你是什么做的网站小学生收集的新闻10条
python实战项目63：获取腾讯招聘信息内容并进行统计分析
- 一、需求分析
- 二、流程分析
- 1、获取指定招聘工作类型的目标地址url。
- 2、采集详情页信息。
- 3、保存数据
- 4、完整爬虫代码
- 三、统计分析
一、需求分析
本项目的需求是爬取腾讯社会招聘信息网中社会招聘的不同工作类别岗位数据，获取该类招聘工作岗位中所有数据的岗位名称(RecruitPostName)、岗位地址(LocationName)、岗位类别(CategoryName)、岗位经验年限(RequireWorkYearsName)、岗位ID(PostId)、岗位职责(Responsibility)、岗位要求(Requirement)，并保存为csv文件。
二、流程分析
1、获取指定招聘工作类型的目标地址url。
如下图所示，抓包，找到数据接口，向数据接口发送get请求，携带模拟请求头headers和相关params参数，根据响应信息，爬取清洗出该类型所有工作岗位信息(岗位名称、岗位地址、岗位类型、岗位经验年限)和岗位ID。