当前位置：首页 > news >正文

使用Java爬虫获取京东商品SKU信息的完整指南

news 来源：原创 2025/5/18 12:59:21

在电商领域，商品SKU（Stock Keeping Unit）信息是商家和消费者都非常关注的内容。SKU信息不仅包括商品的基本属性（如价格、库存、规格等），还涉及到商品的动态数据（如促销信息、库存状态等）。通过Java爬虫技术，我们可以高效地获取京东（JD）商品的SKU信息，用于市场分析、价格监控、商品管理等多种场景。本文将详细介绍如何使用Java编写爬虫程序，精准获取京东商品的SKU信息。

一、环境准备

在开始编写爬虫之前，需要确保开发环境已经安装了以下工具和库：

Java Development Kit (JDK)：确保系统中已安装JDK。
第三方库：
- Jsoup：用于解析HTML文档。
- Selenium：用于模拟浏览器操作，获取动态加载的内容。
- Apache HttpClient：用于发送HTTP请求。

可以通过Maven或Gradle管理这些依赖。以下是Maven的依赖配置示例：

xml

<dependencies>
    <dependency>
        <groupId>org.jsoup</groupId>
        <artifactId>jsoup</artifactId>
        <version>1.10.2</version>
    </dependency>
    <dependency>
        <groupId>org.seleniumhq.selenium</groupId>
        <artifactId>selenium-java</artifactId>
        <version>3.141.59</version>
    </dependency>
</dependencies>

二、爬虫设计

1. 分析目标网页

京东商品详情页包含大量动态加载的内容，因此需要使用Selenium来模拟浏览器行为，获取完整的页面内容。通过分析页面结构，可以确定SKU信息所在的HTML元素。

2. 发送请求

使用Selenium模拟浏览器访问京东商品页面，并等待页面加载完成。

3. 解析内容

利用Jsoup解析获取到的HTML内容，提取商品详情。

4. 数据存储

将解析得到的数据存储到本地文件或数据库中，以便于后续分析。

三、代码实现

以下是完整的Java代码示例，用于获取京东商品的SKU信息。

1. 导入库

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;
import org.openqa.selenium.WebDriver;
import org.openqa.selenium.chrome.ChromeDriver;
import java.io.IOException;

2. 设置Selenium

java

public class JDProductCrawler {
    public static void main(String[] args) throws IOException {
        // 设置ChromeDriver路径
        System.setProperty("webdriver.chrome.driver", "path/to/chromedriver");
        WebDriver driver = new ChromeDriver();

        // 访问商品页面
        driver.get("https://item.jd.com/100012043978.html"); // 示例商品URL

        // 等待页面加载完成
        try {
            Thread.sleep(5000);
        } catch (InterruptedException e) {
            e.printStackTrace();
        }

        // 获取页面HTML内容
        String html = driver.getPageSource();
        driver.quit();

        // 使用Jsoup解析HTML
        Document document = Jsoup.parse(html);
        Elements skuElements = document.select("div.sku-core");

        // 提取SKU信息
        for (Element element : skuElements) {
            String skuId = element.attr("data-sku");
            String name = element.select("div.sku-name").text();
            String price = element.select("div.p-price").text();
            String stockStatus = element.select("div.stock").text();

            System.out.println("SKU ID: " + skuId);
            System.out.println("商品名称: " + name);
            System.out.println("商品价格: " + price);
            System.out.println("库存状态: " + stockStatus);
        }
    }
}

3. 解析HTML内容

使用Jsoup解析获取到的HTML内容，提取商品详情。

java

Document document = Jsoup.parse(html);
Elements skuElements = document.select("div.sku-core");

for (Element element : skuElements) {
    String skuId = element.attr("data-sku");
    String name = element.select("div.sku-name").text();
    String price = element.select("div.p-price").text();
    String stockStatus = element.select("div.stock").text();

    System.out.println("SKU ID: " + skuId);
    System.out.println("商品名称: " + name);
    System.out.println("商品价格: " + price);
    System.out.println("库存状态: " + stockStatus);
}