电商双十一美妆数据分析
1. 数据读取与基础查看
- 库导入:使用 import numpy as np 和 import pandas as pd 导入常用数据分析库。
- 数据读取: df = pd.read_csv('双十一_淘宝美妆数据.csv') 读取数据文件。
- 数据查看:通过 df.head() 查看数据前几行; df.info() 了解数据特征(列名、数据类型、非空值数量等) ; df.shape 查看数据行列数; df.describe() 获取数值型列的统计摘要。
2. 数据清洗
- 重复值处理: data = df.drop_duplicates(inplace = False).reset_index(inplace = True,drop = True) 用于删除重复数据,并重置索引。
-
缺失值处理:识别 sale_count 和 comment_count 列的缺失值, data.loc[data['sale_count'].isnull()] 查看缺失行,然后用 data = data.fillna(0) 以0填充缺失值。
3. 特征工程
- 商品子类别提取:利用 jieba 库分词,通过循环从 title 列提取子类别信息,添加到新列 subtitle 。
- 商品类别划分:基于关键词字典,为商品划分 main_type (主类别)和 sub_type (子类别)。
- 是否男士专用判断:通过循环判断 subtitle 中是否含男士专用关键词,添加 是否男士专用 列。
- 销售额计算:新增 销售额 列, data['销售额'] = data.price * data.sale_count ,通过单价和销量计算得出。