当前位置：首页 > news >正文

利用 Java 爬虫获取 AQI 详情数据（代码示例）实战指南

news 2025/8/29 8:23:27

在环境监测和数据分析领域，获取空气质量指数（AQI）数据对于研究空气污染、评估环境质量以及制定相关政策具有重要意义。本文将详细介绍如何利用 Java 爬虫技术获取 AQI 详情数据，并提供完整的代码示例。

一、前期准备

（一）Java 开发环境

确保你的 Java 开发环境已经安装了以下必要的库：

Apache HttpClient：用于发送 HTTP 请求。
Jackson：用于解析 JSON 数据。
Jsoup：用于解析 HTML 页面。

可以通过 Maven 来管理这些依赖，在你的 pom.xml 文件中添加以下依赖：

xml

<dependencies><dependency><groupId>org.apache.httpcomponents</groupId><artifactId>httpclient</artifactId><version>4.5.13</version></dependency><dependency><groupId>com.fasterxml.jackson.core</groupId><artifactId>jackson-databind</artifactId><version>2.10.0</version></dependency><dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.14.3</version></dependency>
</dependencies>

（二）数据来源分析

我们选择从 [具体空气质量数据网站] 采集数据。该网站提供了中国各大城市的实时空气质量数据，包括 AQI、PM2.5、PM10 等指标。通过分析该网站的页面结构，我们可以确定需要采集的数据所在的 HTML 元素。

二、爬虫实现步骤

（一）发送 HTTP 请求

使用 Apache HttpClient 发送 GET 请求，获取 AQI 数据页面的 HTML 内容：

java

import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.util.EntityUtils;public class HttpUtil {public static String sendGetRequest(String url) {try (CloseableHttpClient httpClient = HttpClients.createDefault()) {HttpGet httpGet = new HttpGet(url);httpGet.setHeader("User-Agent", "Mozilla/5.0");return EntityUtils.toString(httpClient.execute(httpGet).getEntity());} catch (Exception e) {e.printStackTrace();}return null;}
}

（二）解析 HTML 内容

使用 Jsoup 解析 HTML 内容，提取 AQI 数据：

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;public class JsoupUtil {public static void parseAqiData(String html) {Document doc = Jsoup.parse(html);Elements aqiData = doc.select("div.aqi-data");for (Element data : aqiData) {System.out.println("AQI 数据：" + data.text());}}
}

（三）整合代码

将上述功能整合到主程序中，实现完整的爬虫程序：

java

public class AqiCrawler {public static void main(String[] args) {String url = "https://aqi-data-website.com/aqi";String html = HttpUtil.sendGetRequest(url);if (html != null) {JsoupUtil.parseAqiData(html);}}
}