当前位置: 首页 > news >正文

如何用Jsoup库提取商品名称和价格?

使用 Jsoup 库提取商品名称和价格是一个常见的任务,尤其是在爬取电商网站的商品详情时。Jsoup 是一个非常强大的 HTML 解析库,可以方便地从 HTML 文档中提取数据。以下是如何使用 Jsoup 提取商品名称和价格的详细步骤和代码示例。

一、环境准备

确保你的项目中已经添加了 Jsoup 依赖。如果你使用的是 Maven,可以在 pom.xml 文件中添加以下依赖:

xml

<dependency><groupId>org.jsoup</groupId><artifactId>jsoup</artifactId><version>1.13.1</version>
</dependency>

二、代码实现

(一)发送 HTTP 请求

使用 Jsoup 发送 GET 请求,获取商品详情页面的 HTML 内容。

java

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;import java.io.IOException;public class JDProductCrawler {public static Document getHtml(String url) throws IOException {return Jsoup.connect(url).userAgent("Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3").get();}
}
(二)解析 HTML 内容

使用 Jsoup 解析 HTML 内容,提取商品名称和价格。

java

import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;import java.util.HashMap;
import java.util.Map;public class JDProductParser {public static Map<String, String> parseHtml(Document doc) {Map<String, String> productDetails = new HashMap<>();// 提取商品名称Elements titleElements = doc.select("div.sku-name");if (!titleElements.isEmpty()) {productDetails.put("name", titleElements.first().text().trim());}// 提取商品价格Elements priceElements = doc.select("span.price.J-p-123456");if (!priceElements.isEmpty()) {productDetails.put("price", priceElements.first().text().trim());}return productDetails;}
}
(三)整合代码

将上述功能整合到主程序中,实现完整的爬虫程序。

java

import java.util.Map;public class Main {public static void main(String[] args) {String productUrl = "https://item.jd.com/123456.html"; // 替换为实际商品页面 URLtry {Document doc = JDProductCrawler.getHtml(productUrl);Map<String, String> productDetails = JDProductParser.parseHtml(doc);System.out.println("商品名称: " + productDetails.get("name"));System.out.println("商品价格: " + productDetails.get("price"));} catch (Exception e) {e.printStackTrace();}}
}

三、注意事项

  1. 页面结构变化:电商网站的页面结构可能会发生变化,因此需要定期检查和更新选择器(select 方法中的参数)。

  2. 异常处理:在发送请求和解析 HTML 时,可能会遇到各种异常情况,如请求失败、页面结构变化等。因此,需要在代码中添加异常处理逻辑,确保爬虫的稳定运行。

  3. 遵守法律法规:在进行爬虫操作时,必须严格遵守相关法律法规,尊重网站的 robots.txt 文件规定。

  4. 合理设置请求频率:避免过高的请求频率导致对方服务器压力过大,甚至被封禁 IP。建议每次请求之间至少间隔 1-2 秒。

四、总结

通过上述步骤和代码示例,你可以轻松地使用 Jsoup 提取京东商品的名称和价格。Jsoup 提供了非常强大的 HTML 解析功能,可以方便地从复杂的 HTML 文档中提取所需的数据。希望这个指南对你有所帮助!如果你对爬虫开发有更多兴趣,可以尝试探索更复杂的功能,如多线程爬取、数据可视化等。

相关文章:

  • 企业网络新选择:软件定义架构下的MPLS
  • 【PostgreSQL数据分析实战:从数据清洗到可视化全流程】附录-D. 扩展插件列表(PostGIS/PostgREST等)
  • TTS-Web-Vue系列:Vue3实现内嵌iframe文档显示功能
  • idea插件使用
  • 3、ubantu系统docker常用命令
  • Git 彻底清理大文件
  • React学习———React.memo、useMemo和useCallback
  • C PRIMER PLUS——第10节:结构体、共用(同)体/联合体
  • C++函数三剑客:缺省参数·函数重载·引用的高效编程指南
  • Electron入门指南:用前端技术打造桌面应用
  • 更换git位置并在pycharm中重新配置
  • LeetCode 题解 41. 缺失的第一个正数
  • CycleISP: Real Image Restoration via Improved Data Synthesis通过改进数据合成实现真实图像恢复
  • 详细说说Spring的IOC机制
  • 注解和 XML 两种方式有什么区别?
  • 单调栈简单习题分析
  • 【免杀】C2免杀技术(三)shellcode加密
  • 深度学习中.cuda()、.eval()与no_grad详解
  • 深度学习入门:卷积神经网络
  • 解密企业级大模型智能体Agentic AI 关键技术:MCP、A2A、Reasoning LLMs-强化学习算法AlphaGo
  • zencart 团购网站/seo关键词排名优化联系方式
  • 担路做网站/湖南专业关键词优化服务水平
  • 外贸商城网站制作/seo优化的方法
  • 想找做海报的超清图片去哪个网站找/关键词优化意见
  • 南宁哪个公司做网站建设/网络推广优化平台
  • 陇南网站设计/seo长尾快速排名