速卖通API数据清洗实战：从原始JSON到结构化商品数据库
下面将详细介绍如何把速卖通 API 返回的原始 JSON 数据清洗并转换为结构化商品数据库。
1. 数据获取
首先要借助速卖通 API 获取商品数据，以 Python 为例，可使用requests库发送请求并得到 JSON 数据。
import requests
# 替换为你的 API Key 和 Secret
API_KEY = 'your_api_key'
SECRET = 'your_secret'
API_URL = f'https://api.aliexpress.com/get_products?api_key={API_KEY}&secret={SECRET}'
try:
response = requests.get(API_URL)
response.raise_for_status()
raw_data = response.json()
except requests.RequestException as e:
print(f"请求出错: {e}")
except ValueError as e:
print(f"解析 JSON 数据出错: {e}")2. 数据清洗步骤
2.1 缺失值处理
原始 JSON 数据里可能存在缺失值，你可以选择删除包含缺失值的记录或者填充默认值。
import pandas as pd
# 将原始 JSON 数据转换为 DataFrame
df = pd.DataFrame(raw_data)
# 删除包含缺失值的行
df = df.dropna()
# 或者填充默认值
df = df.fillna({'price': 0, 'quantity': 0})2.2 数据类型转换
JSON 数据里的字段类型可能不符合数据库的要求，需要进行转换。
# 将价格字段转换为浮点数类型
df['price'] = pd.to_numeric(df['price'], errors='coerce')
# 将日期字段转换为日期类型
df['create_date'] = pd.to_datetime(df['create_date'])2.3 重复数据处理
要检查并删除重复的数据记录。
# 删除重复的记录
df = df.drop_duplicates()2.4 异常值处理
找出并处理异常值，例如价格为负数或者数量为负数的情况。
# 过滤掉价格为负数的记录
df = df[df['price'] >= 0]
# 过滤掉数量为负数的记录
df = df[df['quantity'] >= 0]3. 数据存储到数据库
使用SQLAlchemy库把清洗后的数据存储到关系型数据库（如 MySQL）中。
4. 总结
经过上述步骤，你就能够把速卖通 API 返回的原始 JSON 数据清洗并转换为结构化商品数据库。在实际应用中，你可以依据具体需求对数据清洗和存储的逻辑进行调整。同时，要确保数据库的安全性和性能，例如合理设计数据库表结构、建立索引等。