使用 Python 抓取亚马逊产品数据： 分步指南

前言

本综合指南将教您如何使用 Python 搜索亚马逊产品数据。无论您是电子商务专业人士、研究人员还是开发人员，您都将学会创建一个解决方案，从亚马逊市场中提取有价值的见解。通过学习本指南，您将掌握有关设置刮擦环境、克服常见挑战和高效收集所需数据的实用知识。

一、了解亚马逊搜索

获取亚马逊产品数据对电子商务企业非常有用。通过自动数据提取，您可以发现消费者行为的趋势，评估产品需求，并进行定价分析。利用正确的技术，您可以通过分析产品细节和客户评论来监控竞争对手，从而在激烈的市场竞争中占据明显优势。

尽管如此，对亚马逊进行搜索并非没有挑战。该网站采用了验证码、速率限制甚至 IP 禁止等各种方法来阻止自动访问。要克服这些问题，需要采取谨慎的方法。使用轮换用户代理、在请求之间引入延迟以及利用 Selenium 等高级工具处理动态内容等方法，可以帮助您构建更具弹性的刮擦程序。

二、亚马逊搜索的优势

使用 Python 抓取亚马逊产品数据为企业和研究人员提供了获取宝贵市场洞察力的强大方法。通过自动收集数据，您可以高效地收集大量产品信息，无需手动输入并减少人为错误。

一个关键优势是成本效益。自动化可实现可扩展的数据提取，无需额外人力。此外，采集到的数据还可以集成到内部系统中，从而实现高级分析、机器学习模型和预测性洞察，以制定战略决策。

另一个重要优势是实时监控。通过持续跟踪定价、库存水平和客户反馈等产品细节，企业可以动态调整定价策略，并对市场趋势做出迅速反应。

总之，利用 Python 进行亚马逊搜索可简化数据收集、增强分析能力，并为企业提供电子商务方面的竞争优势。

三、亚马逊产品数据搜索分步指南

在开始从任何亚马逊产品页面收集实时数据之前，有几个步骤。那么，我们还在等什么呢？让我们动手吧！

1. 设置刮擦的前提条件

在深入学习代码之前，请确保您掌握了正确的知识和工具，以便有效地搜索亚马逊产品数据。在开始编写代码之前，您需要了解一些基础知识：

• 熟悉 Python 编程；
• 了解 HTML 的核心结构和网络内容的组织；
• 深入了解 HTTP 请求机制以及浏览器如何与网络服务器通信。

你还需要一些工具：

• Python 3.x；
• IDE 或代码编辑器–使用 Visual Studio Code、PyCharm 或任何你喜欢的编辑器；
• 库，包括用于发送 HTTP 请求的 requests、用于解析 HTML 的 BeautifulSoup（来自 bs4 包）、用于组织和分析数据的 pandas。如果需要处理动态内容或更复杂的刮擦任务，还可以选择使用 Selenium；
• 浏览器开发工具–熟练使用浏览器的 Inspect 工具来检查亚马逊页面的 HTML 结构；
• 可选工具–虚拟环境（使用 venv 或 virtualenv）来管理项目依赖关系，如果计划使用 Selenium，还可以使用无头浏览器驱动程序（如 ChromeDriver）。

2. 步骤 1：安装 Python 并设置环境

首先安装设置 Python：

• 下载 Python。从 python.org 安装最新版本的 Python 3.x。
• 将 Python 添加到 PATH。单击 Add Python to system’s PATH 复选框，确保在安装过程中将 Python 添加到系统的 PATH。
• 验证安装。要执行下面的命令，请使用集成开发环境内置终端或单机版：

python --version

• 升级 pip。应更新 Python 的软件包管理器 (pip) 以顺利安装库：

python -m ensurepip --upgrade

• (可选）设置虚拟环境。虚拟环境有助于管理依赖关系，而不会干扰全局软件包：

python -m venv venv

在 Windows 系统中使用以下命令激活它：

venv\Scripts\activate

在 MacOS/Linux 上

source venv/bin/activate

3. 第 2 步：安装所需的库

Python 本身无法执行网络刮擦。您需要使用 pip 安装必要的库：

• 安装 Requests、Beautiful Soup 和 Pandas。您需要使用这 3 个库来执行 HTTP 请求、解析数据和分析数据：

python -m pip install requests beautifulsoup4 pandas

• 安装 Selenium。如果您计划抓取动态内容，可能还需要 Selenium：

python -m pip install selenium

4. 第 3 步：创建 Python 脚本

现在是使用已安装工具并编写 Python 脚本的时候了。刮板将提取特定元素，如产品标题和价格。

• 创建一个新的 Python 文件。打开代码编辑器，创建一个名为 amazon_scraper.py 的新文件。
• 导入库。Requests 库检索网页内容，而 BeautifulSoup 处理 HTML 结构：

import requests
from bs4 import BeautifulSoup

• 设置目标 URL。选取一个 URL 进行扫描（例如，亚马逊产品页面）：

url = "https://www.amazon.com/dp/B09FT3KWJZ/"

定义标题。这些有助于脚本模拟真实的浏览器：

headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/109.0","Accept-Language": "en-US,en;q=0.9","Accept-Encoding": "gzip, deflate, br","Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8","Connection": "keep-alive","Upgrade-Insecure-Requests": "1"
}

发送 HTTP 请求。这一行会像真正的浏览器一样向亚马逊产品页面发送请求：

response = requests.get(url, headers=headers)

• 实施错误控制。确保在请求失败时停止程序：

if response.status_code != 200:print("Failed to fetch the page. Status code:", response.status_code)exit()

• 解析 HTML 内容。使用 Beautiful Soup 解析搜刮到的内容：

soup = BeautifulSoup(response.content, "html.parser")

• 提取产品标题和价格。通过 id 和 class锁定特定元素：

title = soup.find("span", id="productTitle")
price = soup.find("span", class_="a-price-whole")

• 确保价格格式正确。价格的分数位于一个具有不同类名的元素中，因此需要将它们合并在一起：

price_fraction = soup.find("span", class_="a-price-fraction")if price and price_fraction:price = f"{price.text.strip()}{price_fraction.text.strip()}"

• 显示结果。在终端打印产品标题和价格结果：

print("Product Title:", title.text.strip() if title else "N/A")
print("Price:", price if price else "N/A")

完整代码示例

import requests
from bs4 import BeautifulSoupurl = "https://www.amazon.com/dp/B09FT3KWJZ/"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:109.0) Gecko/20100101 Firefox/109.0","Accept-Language": "en-US,en;q=0.9","Accept-Encoding": "gzip, deflate, br","Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8","Connection": "keep-alive","Upgrade-Insecure-Requests": "1"
}response = requests.get(url, headers=headers)if response.status_code != 200:print("Failed to fetch the page. Status code:", response.status_code)exit()soup = BeautifulSoup(response.content, "html.parser")title = soup.find("span", id="productTitle")
price = soup.find("span", class_="a-price-whole")\price_fraction = soup.find("span", class_="a-price-fraction")if price and price_fraction:price = f"{price.text.strip()}{price_fraction.text.strip()}"print("Product Title:", title.text.strip() if title else "N/A")
print("Price:", price if price else "N/A")

5. 第 4 步：运行 Scraper

要执行脚本，请使用终端打开文件夹并运行它：

cd path/project_folder
python amazon_scraper.py

四、 刮取亚马逊产品数据的高级技术

在本节中，我们将探索使用 Selenium 处理动态内容、使用 Beautiful Soup 解析 HTML 和 XML 文档以及使用 Pandas 组织数据的更多高级技术。

1. Beautiful Soup 高级技术

除了基本的数据提取之外，Beautiful Soup 还提供了强大的功能，可帮助您应对更复杂的刮擦挑战。以下是一些高级技术，您可能会发现这些技术在搜索亚马逊产品数据时非常有用：

1.1. CSS 选择器

使用 select() 方法使用 CSS 样式的选择器定位元素。这种方法可以精确定位嵌套元素。例如，您可以通过元素的类或 ID 快速查找元素，而无需链式调用多个 find() 或 find_all()。

from bs4 import BeautifulSouphtml = """
<div><div class="product"><span id="title">Amazon Echo</span><span class="price">$99.99</span></div>
</div>
"""soup = BeautifulSoup(html, "html.parser")
product_title = soup.select("div.product > span#title")print(product_title[0].text if product_title else "Title not found")

1.2. 正则表达式

有时，您要提取的属性或文本内容是动态变化的。通过将 BeautifulSoup 的搜索功能与 Python 的 re 模块相结合，您可以匹配元素属性或文本中的模式。这在处理动态生成类名的元素时特别有用。

import re
from bs4 import BeautifulSouphtml = """
<div class="product"><span class="title-123">Product Name</span>
</div>
"""soup = BeautifulSoup(html, "html.parser")
pattern = re.compile(r"title-\d+")
title = soup.find("span", class_=pattern)print(title.text if title else "Title not found")

1.3. 用于自定义过滤的 lambda 函数

当 Beautiful Soup 内置的过滤选项不够用时，可以使用 find_all() 方法中的 lambda 函数。lambda 函数是一个匿名函数，可以内联定义，用于应用自定义过滤逻辑。这样，您就可以根据特定条件（如属性或内容）过滤元素，而这些条件是标准过滤方法难以解决的。

from bs4 import BeautifulSouphtml = """
<div class="product" data-price="10.99"><span class="title">Product 1</span>
</div>
<div class="product" data-price="19.99"><span class="title">Product 2</span>
</div>
"""soup = BeautifulSoup(html, "html.parser")expensive_products = soup.find_all(lambda tag: tag.name == "div" and tag.get("data-price") and float(tag.get("data-price")) > 15)for product in expensive_products:title = product.find("span", class_="title")print(title.text if title else "No title found")

1.4. 使用 SoupStrainer

如果要处理大型 HTML 文档，可以使用 SoupStrainer 加快解析速度并减少内存使用量。通过 **SoupStrainer，**您可以专注于文档的一个子集，忽略与任务无关的部分。当你清楚地知道 HTML 中哪些元素或部分是重要的，并希望避免加载不必要的数据时，这一点尤其有用。

from bs4 import BeautifulSoup, SoupStrainerhtml = """
<html><body><div class="irrelevant">Ignore this content</div><div class="product"><span class="title">Product Name</span></div></body>
</html>
"""only_product = SoupStrainer("div", class_="product")
soup = BeautifulSoup(html, "html.parser", parse_only=only_product)print(soup.prettify())

1.5. 导航解析树

高级用法通常涉及导航 HTML 文档的树形结构。您可以使用父节点、子节点和同级节点关系在树状结构中上下移动。当数据嵌套较深或分布在文档的不同部分时，这种方法很有帮助。

from bs4 import BeautifulSouphtml = """
<div class="product"><span class="title">Product Name</span><span class="price">$19.99</span>
</div>
"""soup = BeautifulSoup(html, "html.parser")
product_div = soup.find("div", class_="product")title = product_div.find("span", class_="title")price = title.find_next_sibling("span", class_="price")print("Title:", title.text)
print("Price:", price.text)

1.6。 解析器选项

Beautiful Soup 支持不同的解析器，如 lxml 和 html5lib。在处理畸形 HTML 时，切换到最适合目标页面结构的解析器可能会提高性能或准确性。

from bs4 import BeautifulSouphtml = "<html><head><title>Test</title></head><body><p>Example content</p></body></html>"soup_lxml = BeautifulSoup(html, "lxml")
print("LXML Parser Title:", soup_lxml.title.text)soup_html5lib = BeautifulSoup(html, "html5lib")
print("html5lib Parser Title:", soup_html5lib.title.text)

通过利用这些高级技术，您可以定制 BeautifulSoup，以处理亚马逊网站上复杂且经常是动态的 HTML 结构，确保提取深入分析所需的精确数据。

2. 高级 Selenium 技术

Selenium 是一种功能强大的工具，适用于动态加载内容的页面。它可以模拟真实的浏览器，让您捕获无法通过简单的 HTTP 请求立即获得的数据。以下是设置简单脚本的分步指南：

• 为无头浏览配置 Chrome 浏览器选项：

chrome_options = Options()
chrome_options.add_argument("--headless")

• 初始化 Webdriver（确保 ChromeDriver 位于 PATH 中）：

driver = webdriver.Chrome(options=chrome_options)

• 导航至亚马逊产品页面：

page_source = driver.page_source
soup = BeautifulSoup(page_source, "html.parser")title = soup.find(id="productTitle")print("Product Title:", title.text.strip() if title else "N/A")
driver.quit()

代码中描述的部分设置了一个无头 Chrome 浏览器，允许脚本在不打开可见窗口的情况下运行。通过在无头模式下配置浏览器，可以高效地模拟用户浏览会话。WebDriver 通过这些设置进行初始化，并导航到亚马逊产品页面，采用隐式等待以确保动态内容有时间加载。页面完全呈现后，整个 HTML 源将被检索并使用 BeautifulSoup 进行解析。然后，脚本会搜索包含产品标题的元素，(using strip()) ，打印结果，最后退出浏览器以释放系统资源。

完整代码示例：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from bs4 import BeautifulSoup# Configure Chrome options for headless browsing
chrome_options = Options()
chrome_options.add_argument("--headless")# Initialize the webdriver (ensure ChromeDriver is in your PATH)
driver = webdriver.Chrome(options=chrome_options)# Navigate to the Amazon product page
driver.get("https://www.amazon.com/dp/B09FT3KWJZ/")
driver.implicitly_wait(5)  # Wait for the page to load# Get the page source and parse with BeautifulSoup
page_source = driver.page_source
soup = BeautifulSoup(page_source, "html.parser")title = soup.find(id="productTitle")
print("Product Title:", title.text.strip() if title else "N/A")driver.quit()

五、使用 Pandas 整理数据

提取数据后，您可能希望将其存储起来，以便进一步分析。Pandas 库是创建结构化数据框架和导出结果（例如，导出到 CSV 文件）的绝佳工具。具体方法如下

提取数据：

html = "<div class='product'><span class='title'>Product 1</span><span
class='price'>$10.99</span></div>"
soup = BeautifulSoup(html, 'html.parser')

• 提取标题和价格：

title = soup.find('span', class_='title')
price = soup.find('span', class_='price')

• 将提取的数据整理成字典：

data = {"Title": [title.text.strip() if title else "N/A"],"Price": [price.text.strip() if price else "N/A"]
}

• 使用 pandas 创建 DataFrame：

df = pd.DataFrame(data)

• 将数据框导出为 CSV 文件：

df.to_csv("amazon_product_data.csv", index=False)

代码的描述部分介绍了如何获取一小段 HTML，使用 BeautifulSoup 对其进行解析以提取特定的数据元素（本例中为产品标题和价格），然后使用 pandas 将数据组织成结构化格式。它首先从 HTML 字符串中创建一个 BeautifulSoup 对象，然后找到包含标题和价格的元素。提取的文本会被清理（使用 strip()）并存储在一个字典中，字典的键与 DataFrame 的列名相对应。最后，从字典中创建 pandas DataFrame，并导出为 CSV 文件（不含索引列），这样就可以轻松地将数据集成到其他系统或分析工作流中。
完整 Python 脚本：

import requests
from bs4 import BeautifulSoup
import pandas as pdurl = "https://www.amazon.com/dp/B09FT3KWJZ/"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/109.0.0.0 Safari/537.36","Accept-Encoding": "gzip, deflate","Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8","Upgrade-Insecure-Requests": "1"
}response = requests.get(url, headers=headers)soup = BeautifulSoup(response.content, "html.parser")
title = soup.find(id="productTitle")
price = soup.find("span", class_="a-offscreen")data = {"Title": [title.text.strip() if title else "N/A"],"Price": [price.text.strip() if price else "N/A"]
}df = pd.DataFrame(data)df.to_csv("amazon_product_data.csv", index=False)print(df)

六、无需编码即可抓取亚马逊产品数据

从亚马逊提取产品数据对于市场分析、价格比较和库存管理至关重要。对于那些没有编程专业知识的人来说，无代码工具和刮擦 API 提供了方便的解决方案，可以有效地收集这些信息。

1. 无代码网络搜刮工具

无代码网络搜刮平台使用户无需编写任何代码即可从亚马逊等网站提取数据。这些工具提供友好的用户界面，您可以在其中定义要提取的数据点，如产品标题、价格和评论。例如，Octoparse 提供了专为获取亚马逊产品数据而设计的预建模板。通过输入产品类别或关键字等参数，用户可以快速收集结构化数据进行分析。

2. 电子商务搜索 API

电子商务搜索 API 为收集亚马逊产品数据提供了另一种无代码方法。这些 API 可以处理复杂的数据提取，以 JSON 或 CSV 等格式提供结构化信息。例如，Decodo 的亚马逊抓取 API 允许用户通过简单的 API 请求来检索产品列表、价格和报价。这种方法可确保收集到准确的最新数据，而无需手动编码。

总结

对于寻求提高市场地位的电子商务企业来说，收集亚马逊数据是一项强有力的战略。通过系统地收集和分析产品详情、定价、客户评论和竞争对手信息，企业可以获得有价值的洞察力，从而做出明智的决策。通过这一过程，可以进行有效的价格比较、准确的需求预测并识别新兴市场趋势。无论是通过编码还是利用专业工具，实施网络搜刮技术都能为企业提供必要的数据，使其在竞争激烈的电子商务环境中适应并发展壮大。