当前位置: 首页 > news >正文

Python爬取城市空气质量数据

Python爬取城市空气质量数据

  • 一、思路分析
    • 1、寻找数据接口
    • 2、发送请求
    • 3、解析数据
    • 4、保存数据
  • 二、完整代码

一、思路分析

目标数据所在的网站是天气后报网站,网址为:www.tianqihoubao.com,需要采集武汉市近十年每天的空气质量数据。先看一下爬取后的数据情况:
在这里插入图片描述

1、寻找数据接口

在天气后报网站主页找到空气质量菜单项并点击,找到湖北武汉市并点击,下拉找到时间列表,点击一个月份时间(以2024年3月为例),进入到如下图所示页面:
在这里插入图片描述
打开浏览器开发者工具(按F12键或者在页面右键然后点击检查)进行抓包,按F5刷新页面,发现开发者工具Network选项卡下抓到了很多数据包,如图所示:
在这里插入图片描述
查看每个数据包中的Response,发现我们所需要的数据在http://www.tianqihoubao.com/aqi/wuhan-202403.html数据包中。

2、发送请求

第二步就是要模拟浏览器向服务器发送请

http://www.dtcms.com/a/10882.html

相关文章:

  • 软件测试--第十章 测试需求分析与测试计划
  • Python pandas openpyxl excel合并单元格,设置边框,背景色
  • ARM32开发--PWM通道输出
  • python基础 002 - 1 基础语法
  • pytest+requests+allure自动化测试接入Jenkins学习
  • Python语言在金融领域的应用探索
  • 第7章 用户输入和 while 循环
  • 调用华为API实现语音合成
  • 常见数据编码方式
  • C/C++ 进阶(6)红黑树
  • day35|1005.K次取反后最大化的数组和 134. 加油站135. 分发糖果
  • SSRF 漏洞实践:端口扫描与任意文件读取
  • 【Python列表解锁】:掌握序列精髓,驾驭动态数据集合
  • 即时设计工具对决:Figma、Sketch与XD的优劣比较
  • 四维轻云|支持多源数据融合、城市级实景三维模型展示
  • Eureka和Nacos有哪些区别?
  • 项目:双人五子棋对战-对战模块(6)
  • ChatGPT
  • 评估聚类效果
  • MySQL提权之UDF提权
  • 假期已结束,大家都开始上班了吗
  • sqli-labs 靶场 less-11~14 第十一关、第十二关、第十三关、第十四关详解:联合注入、错误注入
  • [word] word如何清除超链接 #媒体#笔记#知识分享
  • NSSCTF-Web题目5
  • Faiss assertion ‘err == cudaSuccess‘ failed in void faiss::gpu:runL2Norm()
  • LangChain开发【NL2SQL】应用
  • Web前端管理系统项目:深度解析与实现之道
  • ROS使用手柄/cmd_vel无输出
  • 【Anaconda】 anaconda常用命令总结
  • 德克萨斯大学奥斯汀分校自然语言处理硕士课程汉化版(第六周) - 预训练模型