Java HttpClient实现简单网络爬虫

今天我将使用Java的HttpClient（在Java 11及以上版本中内置）来编写一个入门级的网络爬虫示例。

这个示例将演示如何发送HTTP GET请求，获取响应内容，并处理可能出现的异常。

以下是一个基于Java HttpClient（Java 11+）的网络爬虫基础实现示例，包含详细注释和异常处理：

import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.time.Duration;public class WebCrawlerExample {public static void main(String[] args) {// 目标URL（请替换为实际需要爬取的网站）String targetUrl = "https://example.com";try {String htmlContent = fetchHtmlContent(targetUrl);System.out.println("网页内容获取成功！");System.out.println("获取内容长度：" + htmlContent.length() + " 字符");// 这里可以添加内容解析逻辑// parseHtml(htmlContent);} catch (Exception e) {System.err.println("爬取失败: " + e.getMessage());}}/*** 使用HttpClient获取网页HTML内容* @param url 目标网址* @return 网页HTML字符串* @throws Exception 网络请求异常*/private static String fetchHtmlContent(String url) throws Exception {// 1. 创建HttpClient实例HttpClient client = HttpClient.newBuilder().version(HttpClient.Version.HTTP_2)  // 使用HTTP/2协议.connectTimeout(Duration.ofSeconds(10)) // 设置连接超时.followRedirects(HttpClient.Redirect.NORMAL) // 跟随重定向.build();// 2. 构建HTTP请求HttpRequest request = HttpRequest.newBuilder().uri(URI.create(url)).timeout(Duration.ofSeconds(15)) // 设置请求超时.header("User-Agent", "Mozilla/5.0 (compatible; MyCrawler/1.0)") // 设置UA标识.header("Accept", "text/html") // 指定接受HTML内容.GET() // GET请求.build();// 3. 发送请求并获取响应HttpResponse<String> response = client.send(request, HttpResponse.BodyHandlers.ofString());// 4. 检查HTTP状态码int statusCode = response.statusCode();if (statusCode != 200) {throw new RuntimeException("HTTP错误状态码: " + statusCode);}// 5. 返回HTML内容return response.body();}/*** （示例）HTML内容解析方法* @param html 网页HTML内容*//*private static void parseHtml(String html) {// 实际项目中可使用Jsoup等库解析HTMLSystem.out.println("解析HTML...");// 示例：简单提取标题String title = html.substring(html.indexOf("<title>") + 7, html.indexOf("</title>"));System.out.println("网页标题: " + title);}*/
}

关键组件说明：

1. HttpClient - Java 11+ 内置的HTTP客户端

   • 支持HTTP/2和WebSocket
   • 异步/同步两种请求模式
   • 超时控制机制

2. 请求配置：

   • User-Agent：标识爬虫身份（建议遵守robots.txt规则）
   • timeout：防止长时间阻塞
   • 自动重定向处理

3. 异常处理：

   • 连接超时
   • HTTP错误状态码（非200）
   • 网络中断
   • URL格式错误

4. 扩展建议：

   // 在HttpClient构建器中可添加：
   .proxy(ProxySelector.of(new InetSocketAddress("proxy.com", 8080))) // 设置代理
   .authenticator(Authenticator.getDefault()) // 认证支持// 异步请求示例：
   client.sendAsync(request, HttpResponse.BodyHandlers.ofString()).thenApply(HttpResponse::body).thenAccept(System.out::println);
   

使用注意事项：

1. 遵守robots.txt：

   • 检查目标网站/robots.txt的爬取规则
   • 例如：https://example.com/robots.txt

2. 频率限制：

   • 在循环请求时添加延迟：

   Thread.sleep(1000); // 每次请求间隔1秒
   

3. 内容解析：

   • 建议使用Jsoup库解析HTML：

   Document doc = Jsoup.parse(html);
   Elements links = doc.select("a[href]");
   

4. 错误重试：

   int retry = 0;
   while (retry < 3) {try {// 请求代码...break; // 成功则跳出循环} catch (Exception e) {retry++;Thread.sleep(2000); // 等待后重试}
   }
   

完整项目建议添加：

• 用户代理轮换
• IP代理池
• 分布式爬取
• 数据存储模块

以上就是今天我要说简单的入门级爬虫教程，总体的思路是这样，具体操作还得根据项目网站实际情况来做具体的部署，如果大家有啥疑问可以留言讨论。