网站建设定制设计人民网舆情数据中心官网
Python爬取城市空气质量数据
- 一、思路分析
- 1、寻找数据接口
- 2、发送请求
- 3、解析数据
- 4、保存数据
- 二、完整代码
一、思路分析
目标数据所在的网站是天气后报网站，网址为：www.tianqihoubao.com，需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况：
1、寻找数据接口
在天气后报网站主页找到空气质量菜单项并点击，找到湖北武汉市并点击，下拉找到时间列表，点击一个月份时间（以2024年3月为例），进入到如下图所示页面：
打开浏览器开发者工具（按F12键或者在页面右键然后点击检查）进行抓包，按F5刷新页面，发现开发者工具Network选项卡下抓到了很多数据包，如图所示：
查看每个数据包中的Response，发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。
2、发送请求
第二步就是要模拟浏览器向服务器发送请