当前位置：首页 > news >正文

使用 Cheerio 和 Node.js 进行网络抓取

news 来源：原创 2025/6/18 18:03:33

引言：

在当今数字化时代，数据的获取和分析变得至关重要。Web 抓取作为一种强大的技术，能够从网站中提取有价值的数据，被广泛应用于数据分析、市场研究和内容聚合等领域。截至 2024 年，利用 Cheerio 和 Node.js 进行 web 抓取依然是一种流行且高效的方法。本文将深入探讨使用 Cheerio 和 Node.js 进行 web 抓取的详细过程，为您提供全面的指南和实用示例。

1. Cheerio 是什么？

Cheerio 是一个快速、灵活、轻量的 jQuery 实现，专为服务器端应用设计。它允许开发人员使用熟悉的 jQuery 语法在 Node.js 环境中解析和操作 HTML 文档。与基于浏览器的工具不同，Cheerio 不执行实际的网页渲染，而是直接操作 HTML 字符串，使其在许多抓取任务中异常高效。

1.1 前提条件

在深入代码之前，请确保您的系统上已安装 Node.js 和 npm（Node Package Manager）。如果尚未安装，您可以从 Node.js 官方网站下载并安装。

1.2 项目设置

1.2.1 第一步：创建新项目目录

首先，为您的项目创建一个新目录并将其初始化为一个 Node.js 项目：

mkdir web-scraping
cd web-scraping
npm init -y

-y 标志会自动回答所有提示，设置一个默认的 package.json 文件。

1.2.2 第二步：安装依赖项

接下来，安装必要的依赖项，包括用于发出 HTTP 请求的 axios 和用于解析 HTML 的 cheerio：

npm install axios cheerio

1.3 Cheerio 的选择器 API

Cheerio 是一个快速、灵活和轻量的核心 jQuery 实现，专为服务器设计。它允许您在 Node.js 环境中使用 jQuery 样式的语法来操作 HTML 文档。

以下是 Cheerio 选择器 API 的详细说明和代码示例：

加载 HTML 文档：

const cheerio = require('cheerio');
const html = `
  <html>
    <head>
      <title>Example</title>
    </head>
    <body>
      <h1 class="title">Hello, world!</h1>
      <div id="content">
        <p>This is a paragraph.</p>
        <a href="https://example.com">Link</a>
      </div>
    </body>
  </html>
`;
const $ = cheerio.load(html);

选择元素：

元素选择器：

const h1 = $('h1'); // 选择所有<h1>元素
console.log(h1.text()); // 输出：Hello, world!

类选择器：

const title = $('.title'); // 选择 class="title" 的元素
console.log(title.text()); // 输出：Hello, world!

ID 选择器：

const content = $('#content'); // 选择 id="content" 的元素
console.log(content.html()); // 输出：<p>This is a paragraph.</p><a href="https://example.com">Link</a>

属性选择器：

const link = $('a[href="https://example.com"]'); // 选择具有特定 href 属性的 <a> 元素
console.log(link.text()); // 输出：Link

遍历和操作元素：

遍历元素：

$('p').each((index, element) => {
  console.log($(element).text()); // 输出每个 <p> 元素的文本内容
});

修改元素内容：

$('h1.title').text('New Title'); // 修改 <h1> 元素的文本内容
console.log($('h1.title').text()); // 输出：New Title

添加和删除元素：

$('#content').append('<p>Another paragraph.</p>'); // 在 #content 中添加一个新的 <p> 元素
console.log($('#content').html()); // 输出：<p>This is a paragraph.</p><a href="https://example.com">Link</a><p>Another paragraph.</p>

$('a').remove(); // 删除所有 <a> 元素
console.log($('#content').html()); // 输出：<p>This is a paragraph.</p><p>Another paragraph.</p>

这些示例展示了如何使用 Cheerio 的选择器 API 在 Node.js 环境中选择、遍历和操作 HTML 元素，类似于 jQuery。

1.4 编写抓取脚本

在您的项目目录中创建一个名为 scraper.js 的文件。该文件将包含从目标网站抓取数据的脚本。将以下代码添加到 scraper.js 中：

const axios = require('axios');
const cheerio = require('cheerio');

// 目标 URL
const url = 'https://example.com';

async function fetchData() {
  try {
    // 发出 HTTP 请求以获取 HTML 内容
    const { data } = await axios.get(url);
    // 将 HTML 文档加载到 Cheerio 中
    const $ = cheerio.load(data);

    // 从 HTML 中提取数据
    const title = $('title').text();
    const headings = [];
    $('h1, h2, h3').each((index, element) => {
      headings.push($(element).text());
    });

    // 输出提取的数据
    console.log('Title:', title);
    console.log('Headings:', headings);
  } catch (error) {
    console.error('Error fetching data:', error);
  }
}

fetchData();

代码解释

导入模块：脚本首先导入 axios 和 cheerio 模块。
定义目标 URL：定义要抓取的目标网站的 URL。
获取数据：fetchData 函数使用 axios 发出 HTTP GET 请求到目标 URL。响应数据（HTML 内容）随后加载到 Cheerio 中。
解析 HTML：使用 Cheerio 的 jQuery 样式语法，脚本提取 <title> 标签和所有 <h1>、<h2> 和 <h3> 标签的内容。
输出结果：提取的数据记录在控制台中。

1.5 运行脚本

要执行抓取脚本，请在终端中运行以下命令：

node scraper.js

如果一切设置正确，您应该会在控制台中看到抓取到的网页标题和所有标题标签的内容。

1.6 使用 Cheerio 进行网页抓取的挑战

虽然 Cheerio 在网页抓取方面具有许多优势，但它也存在一些开发人员可能遇到的挑战：

动态网站和 JavaScript：Cheerio 的一大挑战是处理依赖 JavaScript 的动态网站。现代网站通常使用 JavaScript 在初始页面加载后动态加载内容。由于 Cheerio 解析的是静态 HTML，它可能无法捕获动态生成的内容，这会限制抓取的效果。
反抓取措施：网站采用各种反抓取技术来阻止自动化数据提取：

CAPTCHA：主要问题是设计用来区分人类和机器人用户的 CAPTCHA，要求用户完成图像识别或文本输入等任务。
IP 封锁：网站可能会封锁与抓取活动相关的 IP 地址，以防止过多的请求。
用户代理检测：检测非标准或可疑的用户代理有助于网站识别和封锁抓取程序。
动态网页：使用动态 JavaScript 内容生成的网站可能会带来挑战，因为内容可能无法通过 Cheerio 的静态解析直接访问。

作为网页抓取开发人员，了解这些挑战对于有效地解决它们至关重要。针对这些问题有许多缓解解决方案的策略，在接下来的部分中，我们将解释如何通过解决验证码问题和处理动态页面来解决抓取中的两大问题。

1.7 处理网页抓取中的 CAPTCHA

CAPTCHA 在网页抓取中构成了重大挑战，因为它们旨在区分人类和机器人。当遇到时，您的抓取脚本必须高效地解决它们，以继续进行抓取任务。

集成 CAPTCHA 解决方案

可以通过一些服务来解决 CAPTCHA 问题，这里不推荐具体服务，您可自行搜索合适的解决方案。

1.8 处理动态页面

对于通过 JavaScript 加载动态内容的网页，您可能需要使用像 puppeteer 这样的无头浏览器。Puppeteer 可以模拟真实用户浏览网页，从而允许您抓取只有在 JavaScript 执行后才出现的内容。

Puppeteer 示例

以下是如何将 Puppeteer 与 Cheerio 结合使用的简短示例：

const puppeteer = require('puppeteer');
const cheerio = require('cheerio');

async function fetchData() {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  await page.goto('https://example.com');

  const content = await page.content();
  const $ = cheerio.load(content);

  const title = $('title').text();
  const headings = [];
  $('h1, h2, h3').each((index, element) => {
    headings.push($(element).text());
  });

  console.log('Title:', title);
  console.log('Headings:', headings);

  await browser.close();
}

fetchData();

此脚本启动一个无头浏览器，导航到目标 URL，并在 JavaScript 执行后获取 HTML 内容。然后，它使用 Cheerio 解析 HTML 并提取所需数据。

2. 结语

使用 Cheerio 和 Node.js 进行网页抓取是提取网站数据的强大组合。Cheerio 的 jQuery 样式语法使得导航和操作 HTML 文档变得容易，而 Node.js 提供了处理 HTTP 请求和处理数据的强大环境。然而，开发人员必须意识到动态内容和反抓取措施（如 CAPTCHA）带来的挑战。可以通过一些方法来克服这些障碍，确保您的抓取脚本保持高效和可靠。希望这篇文章能帮助您在 2024 年开始网页抓取，并为您的项目提供有用的数据！