JAVA API (三)：从基础爬虫构建到带条件数据提取 —— 详解 URL、正则与爬取策略
个人主页-爱因斯晨
文章专栏-Java学习
相关文章：API (一)
相关文章：API（二）
持续努力中，感谢支持
一、爬虫基础
（一）爬虫的基本概念
-
定义：爬虫是按照一定规则自动抓取网络信息的程序，在 Java 环境下，可借助
URL、HttpURLConnection等 API 来实现。 -
应用场景：广泛应用于数据采集，如电商平台的价格监控、各类新闻的聚合；还可用于信息分析，如舆情监测等。
（二）Java 实现简单爬虫的步骤
建立网络连接：利用URL类确定目标网页的地址，再通过openConnection()方法获取HttpURLConnection对象。
URL url = new URL("https://example.com");
HttpURLConnection conn = (HttpURLConnection) url.openConnection();
设置请求参数：明确请求方式（GET/POST）以及超时时间等参数。
conn.setRequestMethod("GET");
conn.setConnectTimeout(5000);
获取响应数据：通过输入流读取网页的内容，并将其转换为字符串进行处理。
InputStream in = conn.getInputStream();
BufferedReader br = new BufferedReader(new InputStreamReader(in));
String line;
StringBuilder sb = new StringBuilder();
while ((line = br.readLine()) != null) {sb.append(line);
}
数据解析与提取：结合字符串处理方法或者正则表达式，从网页源码中提取出目标信息，如链接、文本内容等。
（三）爬虫的核心 API
-
URL：代表统一资源定位符，主要功能是标识网络资源的地址。
-
HttpURLConnection：用于发送 HTTP 请求和接收响应，支持设置请求头、获取响应码等操作。 -
输入流相关类（
InputStream、BufferedReader）：这些类的作用是读取网络数据。
二、带条件爬取与贪婪爬取
（一）带条件爬取
-
定义：按照特定规则对目标数据进行筛选，避免无差别地抓取无关信息，从而提高爬取效率。
-
实现方式：
-
基于标签筛选：例如只提取
<a>标签中的链接，或者<div class="content">中的文本内容。 -
基于内容关键词：通过字符串的contains()方法或者正则表达式，过滤出包含指定关键词的数据。
-
示例：爬取网页中所有包含 “Java” 关键词的标题
Pattern pattern = Pattern.compile("<title>(.*?)</title>");
Matcher matcher = pattern.matcher(htmlContent);
while (matcher.find()) {String title = matcher.group(1);if (title.contains("Java")) {System.out.println(title);}
}
（二）贪婪爬取与非贪婪匹配
-
贪婪匹配：正则表达式在默认情况下，会尽可能匹配最长的字符串。比如，用
.*匹配<div>content1</div>``<div>content2</div>时，会从第一个<div>一直匹配到最后一个</div>。 -
非贪婪匹配：在量词后添加?可实现非贪婪匹配，即尽可能匹配最短的字符串。例如，
.*?能够分别匹配两个<div>标签内的内容。 -
对比示例：
-
正则表达式
"<div>(.*)</div>"（贪婪）：匹配结果为 “content1content2” -
正则表达式
"<div>(.*?)</div>"（非贪婪）：匹配结果为 “content1” 和 “content2”
三、正则表达式的核心方法
（一）正则表达式基础语法
-
常用元字符：
.（可匹配任意字符）、*（匹配前导字符 0 次或多次）、+（匹配前导字符 1 次或多次）、?（匹配前导字符 0 次或 1 次）、()（用于分组）等。 -
预定义字符类：
\d（匹配数字）、\w（匹配字母、数字、下划线）、\s（匹配空白字符）等。
（二）Java 中处理正则的两个核心类
Pattern 类：
表示编译后的正则表达式，可通过compile()方法创建实例。
Pattern pattern = Pattern.compile("\\d+"); // 匹配1个或多个数字
Matcher 类：
用于对字符串进行匹配操作，常用方法包括：
Matcher matcher = pattern.matcher("abc123def456");
while (matcher.find()) {System.out.println(matcher.group()); // 输出：123、456
}
-
find()：查找下一个匹配的子序列。
-
group()：返回当前匹配的子序列（需要与find()配合使用）。
-
matches()：判断整个字符串是否完全匹配正则表达式。
四、实战注意事项
反爬机制规避：
设置合理的请求间隔，可使用Thread.sleep()实现；添加请求头来模拟浏览器，例如设置User-Agent。
conn.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64)");
正则表达式效率优化：
避免使用过度复杂的表达式，对于频繁使用的正则，提前将其编译为Pattern实例，这样可实现复用，减少性能消耗。
合法性与道德规范：
爬取数据时，需遵守网站的robots.txt协议，避免侵犯隐私或者引发法律风险。