当前位置: 首页 > news >正文

Python爬取城市空气质量数据

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站,网址为:www.tianqihoubao.com,需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况:
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击,找到湖北武汉市并点击,下拉找到时间列表,点击一个月份时间(以2024年3月为例),进入到如下图所示页面:
在这里插入图片描述
打开浏览器开发者工具(按F12键或者在页面右键然后点击检查)进行抓包,按F5刷新页面,发现开发者工具Network选项卡下抓到了很多数据包,如图所示:
在这里插入图片描述
查看每个数据包中的Response,发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

相关文章:

  • 软件测试--第十章 测试需求分析与测试计划
  • Python pandas openpyxl excel合并单元格,设置边框,背景色
  • ARM32开发--PWM通道输出
  • python基础 002 - 1 基础语法
  • pytest+requests+allure自动化测试接入Jenkins学习
  • Python语言在金融领域的应用探索
  • 第7章 用户输入和 while 循环
  • 调用华为API实现语音合成
  • 常见数据编码方式
  • C/C++ 进阶(6)红黑树
  • day35|1005.K次取反后最大化的数组和 134. 加油站135. 分发糖果
  • SSRF 漏洞实践:端口扫描与任意文件读取
  • 【Python列表解锁】:掌握序列精髓,驾驭动态数据集合
  • 即时设计工具对决:Figma、Sketch与XD的优劣比较
  • 四维轻云|支持多源数据融合、城市级实景三维模型展示
  • Eureka和Nacos有哪些区别?
  • 项目:双人五子棋对战-对战模块(6)
  • ChatGPT
  • 评估聚类效果
  • MySQL提权之UDF提权
  • 欧盟官员:欧盟酝酿对美关税政策反制措施,包含所有选项
  • 《黎明的一切》:与正常世界脱轨后,我选择不再回去
  • 国内多景区实行一票游多日:从门票经济向多元化“链式经济”转型
  • 泽连斯基拒绝普京72小时停火提议,坚持应尽快实现30天停火
  • 青海大学常务副校长(正厅级)任延明已任省卫健委党组书记
  • 孙一凡的东欧狂想音乐会:一场穿越东欧的听觉绮梦