电商项目实例：基于Python京东商品API接口数据采集
以下是一些京东商品详情 SKU 数据采集的实际案例：
- 基于京东开放平台 API 的案例3：某电商数据分析公司为了给客户提供京东商品数据服务，使用京东开放平台 API 采集商品 SKU 数据。首先在京东开放平台注册账号并创建应用，获取 App Key 和 App Secret。然后使用 Python 编写代码，利用 requests 库发送请求。通过生成签名来确保请求的合法性，代码如下：
- Python
import requests import json import hashlib import timedef generate_signature(app_key, app_secret, timestamp):# 生成签名sign_str = app_key + timestamp + app_secretreturn hashlib.md5(sign_str.encode('utf - 8')).hexdigest()def get_jd_product_detail(app_key, app_secret, sku_id):timestamp = str(int(time.time()))signature = generate_signature(app_key, app_secret, timestamp)api_url = "https://api.jd.com/routerjson"params = {'method': 'item_detail','app_key': app_key,'timestamp': timestamp,'v': '2.0','sign_method':'md5','sign': signature,'param_json': json.dumps({'skuIds': sku_id})}response = requests.get(api_url, params=params)if response.status_code == 200:return response.json()else:print(f"请求失败，状态码：{response.status_code}")return Nonedef parse_response(data):if data('code') == '0':items = data('jingdong_item_detail_response')('items')for item in items:num_iid = item('num_iid')title = item('title')detail_url = item('detail_url')pic_url = item('pic_url')price = item('price')description = item('description')print(f"商品 ID: {num_iid}")print(f"商品标题: {title}")print(f"商品详情页 URL: {detail_url}")print(f"商品图片 URL: {pic_url}")print(f"商品价格: {price}")print(f"商品描述: {description}")else:print(f"API 请求失败，错误信息: {data('errorMessage')}")if __name__ == '__main__':app_key = 'your_app_key' # 替换为你的 App Keyapp_secret = 'your_app_secret' # 替换为你的 App Secretsku_id = '123456' # 替换为商品的 SKU IDresponse_data = get_jd_product_detail(app_key, app_secret, sku_id)if response_data:parse_response(response_data)
通过这种方式，该公司能够稳定、高效地获取京东商品的 SKU 数据，为后续的数据分析和业务决策提供支持。
- 网页抓取案例2：一名独立开发者想要分析京东某类电子产品的市场情况，由于未申请到京东开放平台 API 权限，决定采用网页抓取的方式获取 SKU 数据。他使用 Python 的 requests 库发送 HTTP 请求，用 BeautifulSoup 库解析 HTML 页面。代码示例如下：
from bs4 import BeautifulSoup import requestsdef get_product_details(url):headers = {'User - Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}response = requests.get(url, headers=headers)soup = BeautifulSoup(response.text, 'lxml')sku_id = soup.find('div', {'class': 'sku - core'}).get('data - sku')name = soup.find('div', class_='sku - name').get_text()price = soup.find('div', class_='p - price').get_text()stock_status = soup.find('div', class_='stock').get_text()print(f"SKU ID: {sku_id}")print(f"商品价格: {price}")print(f"库存状态: {stock_status}")product_url = 'https://item.jd.com/100012043978.html' get_product_details(product_url)
为了应对京东的反爬虫机制，他设置了合理的请求间隔，并定期更换 IP 地址，最终成功获取了该类电子产品的部分 SKU 数据，用于后续的市场分析。
- 使用第三方工具案例1：某小型电商企业想要监控京东上竞争对手的商品 SKU 信息，包括价格、库存等，以便及时调整自己的销售策略。由于企业内部技术力量有限，选择使用第三方数据采集工具 。通过可视化操作界面，企业工作人员无需编写代码，只需在京东商品详情页上标注需要采集的字段，如 SKU ID、价格、库存数量等，然后设置采集任务的执行频率，即可定期获取相关数据。该工具会自动处理反爬虫等问题，将采集到的数据以 CSV 或 Excel 等格式导出，方便企业进行数据分析和整理。