当前位置: 首页 > news >正文

Python爬取城市空气质量数据

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站,网址为:www.tianqihoubao.com,需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况:
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击,找到湖北武汉市并点击,下拉找到时间列表,点击一个月份时间(以2024年3月为例),进入到如下图所示页面:
在这里插入图片描述
打开浏览器开发者工具(按F12键或者在页面右键然后点击检查)进行抓包,按F5刷新页面,发现开发者工具Network选项卡下抓到了很多数据包,如图所示:
在这里插入图片描述
查看每个数据包中的Response,发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

相关文章:

  • 软件测试--第十章 测试需求分析与测试计划
  • Python pandas openpyxl excel合并单元格,设置边框,背景色
  • ARM32开发--PWM通道输出
  • python基础 002 - 1 基础语法
  • pytest+requests+allure自动化测试接入Jenkins学习
  • Python语言在金融领域的应用探索
  • 第7章 用户输入和 while 循环
  • 调用华为API实现语音合成
  • 常见数据编码方式
  • C/C++ 进阶(6)红黑树
  • day35|1005.K次取反后最大化的数组和 134. 加油站135. 分发糖果
  • SSRF 漏洞实践:端口扫描与任意文件读取
  • 【Python列表解锁】:掌握序列精髓,驾驭动态数据集合
  • 即时设计工具对决:Figma、Sketch与XD的优劣比较
  • 四维轻云|支持多源数据融合、城市级实景三维模型展示
  • Eureka和Nacos有哪些区别?
  • 项目:双人五子棋对战-对战模块(6)
  • ChatGPT
  • 评估聚类效果
  • MySQL提权之UDF提权
  • 想建网站/厦门人才网官网招聘信息网
  • 公司网站建设 wordpress/seo优化与sem推广有什么关系
  • 中国住建部和城乡建设部官网/苏州手机关键词优化
  • Wordpress企业主题XShuan/seo做得比较好的企业案例
  • 福州企业建站系统模板/宁波seo整体优化公司
  • 如何创建公众号微信免费的/重庆seo排名公司