当前位置：首页 > news >正文

数据处理实战（含代码）

news 2025/7/28 9:32:30

在当今这个信息爆炸的时代，数据如同空气般无处不在。无论是企业的运营决策、科研人员的研究分析，还是个人的日常决策，都越来越依赖于数据。然而，原始数据往往是杂乱无章、良莠不齐的，就像一堆未经雕琢的璞玉，需要经过精心的处理才能展现其内在的价值。数据处理正是将这堆 “璞玉” 打磨成 “美玉” 的过程，它能将混乱的数据转化为有价值的信息，为我们的决策提供有力支持。接下来，就让我们一起走进数据处理的实战世界，探索其中的奥秘，并且结合具体代码来加深理解。

数据处理的关键技术

数据处理包含一系列关键技术，每一项技术都在数据从原始状态到可用状态的转变中发挥着重要作用。

数据清洗

数据清洗是数据处理的第一步，也是至关重要的一步。它的主要目的是去除数据中的 “杂质”，提高数据质量。在实际操作中，我们会遇到各种各样的问题数据，需要针对性地处理。

对于缺失值，常见的处理方法有删除法和插补法。如果缺失数据的比例较小，且对整体数据影响不大，我们可以直接删除包含缺失值的记录。但如果缺失数据比例较大，删除记录可能会导致大量信息丢失，这时就可以采用插补法。比如对于数值型数据，可以用均值、中位数来插补；对于分类型数据，可以用众数来插补。此外，还可以根据数据的分布特征和业务逻辑进行合理的推测插补。处理缺失值能避免因数据不完整而导致的分析结果偏差，确保后续分析的准确性。

异常值也是数据清洗中需要重点处理的问题。异常值可能是由于数据录入错误、测量误差或特殊情况导致的。我们可以通过绘制箱线图、散点图等方法来识别异常值。对于确认的异常值，根据具体情况可以选择删除、修正或单独处理。如果异常值是由于录入错误导致的，修正后可以保留；如果是特殊情况的真实数据，单独处理能避免其对整体分析趋势的干扰。

重复数据会导致分析结果的冗余和不准确，因此需要及时去除。可以通过数据中的唯一标识字段，如订单编号、身份证号等，来查找重复数据，然后保留一条有效记录即可。

数据集成

在实际应用中，数据往往来自多个不同的数据源，如不同的数据库、文件等。数据集成就是将这些分散的数据整合到一个统一的数据集中，以便进行后续的分析和处理。

在数据集成过程中，需要解决数据格式不一致、字段含义不同等问题。例如，不同数据源中表示 “客户姓名” 的字段可能分别为 “name”“customer_name”，需要将它们统一命名为 “客户姓名”。同时，还要处理数据单位不一致的情况，如有的数据以 “千克” 为单位，有的以 “克” 为单位，需要进行单位转换，确保数据的一致性。

数据转换

数据转换是将原始数据转换为适合分析的形式。常见的数据转换操作包括标准化、归一化、数据类型转换等。

标准化是将数据按照一定的比例缩放，使其落入特定的区间，如 [0,1] 或 [-1,1]。这样可以消除不同数据之间因量纲不同而带来的影响，方便进行比较和分析。例如，在分析不同商品的价格和销量时，价格可能在几十到几千元不等，销量可能在几个到几百个不等，通过标准化可以将它们放在同一尺度下进行分析。

归一化则是将数据转换为均值为 0、标准差为 1 的正态分布数据，适用于一些对数据分布有要求的分析算法。

数据类型转换也是常见的操作，比如将字符串类型的日期转换为日期类型，将文本型的数字转换为数值型，以便进行计算和分析。

数据规约

当数据量过大时，会增加数据处理的难度和时间成本，同时也可能包含大量冗余信息。数据规约就是在保证数据信息损失最小的前提下，减少数据量。

数据规约可以从属性和记录两个方面进行。属性规约是选择对分析结果影响较大的属性，去除无关或冗余的属性；记录规约则是通过抽样等方法，从大量数据中抽取一部分有代表性的数据进行分析。

数据处理实用工具

掌握合适的工具能让数据处理工作事半功倍。以下是一些常用的数据处理工具：

Python 库

Pandas：是 Python 中最常用的数据处理库之一，它提供了高效的数据结构（如 DataFrame）和丰富的数据操作函数，能够方便地进行数据清洗、转换、分组、聚合等操作。无论是处理小型数据集还是大型数据集，Pandas 都能表现出良好的性能。

NumPy：主要用于数值计算，它提供了多维数组对象和一系列数学函数，能够高效地进行数组运算。在数据处理中，NumPy 常与 Pandas 配合使用，为数据处理提供强大的数值计算支持。

SQL 语言

SQL（结构化查询语言）是用于管理关系型数据库的标准语言。它可以通过简单的语句实现对数据库中数据的查询、插入、更新、删除等操作，特别适合处理结构化数据。在数据集成和数据筛选方面，SQL 具有很高的效率，广泛应用于企业的数据处理和分析中。

Excel

Excel 是一款功能强大的电子表格软件，对于小型数据集的处理非常方便。它提供了丰富的函数和工具，如数据筛选、排序、透视表等，用户可以通过简单的操作完成数据清洗、汇总和分析。Excel 的可视化功能也很出色，能够快速生成各种图表，直观地展示数据结果。

实战案例：电商销售数据分析（含代码）

为了更直观地展示数据处理的全过程，我们选择一个电商销售数据集进行实战演练，并附上具体代码。

数据获取

本案例使用的电商销售数据集来自某公开数据平台，在实际操作中，你可以从以下渠道获取类似的公开数据集：

Kaggle：全球知名的数据科学平台，包含大量各行各业的公开数据集，网址为https://www.kaggle.com/。

UCI 机器学习仓库：包含众多用于机器学习和数据挖掘的数据集，网址为https://archive.ics.uci.edu/ml/index.php。

阿里云天池：国内的数据科学平台，有丰富的公开数据集和竞赛数据，网址为https://tianchi.aliyun.com/。

如果你暂时没有找到合适的公开数据集，也可以使用以下代码生成模拟的电商销售数据：

import pandas as pdimport numpy as npfrom faker import Fakerimport randomfrom datetime import datetime, timedelta# 初始化Fakerfake = Faker('zh_CN')# 生成模拟数据data_size = 1000 # 数据量大小# 商品类别和对应的商品名称product_categories = {'电子产品': ['智能手机', '笔记本电脑', '平板电脑', '耳机', '手表'],'服装': ['T恤', '牛仔裤', '衬衫', '外套', '裙子'],'家居用品': ['床上四件套', '抱枕', '台灯', '收纳盒', '毛巾']}# 客户所在地区regions = ['北京', '上海', '广州', '深圳', '杭州', '成都', '武汉', '南京']# 生成订单编号（唯一标识）order_ids = [f'ORD{10000 + i}' for i in range(data_size)]# 生成商品信息categories = []product_names = []for _ in range(data_size):category = random.choice(list(product_categories.keys()))categories.append(category)product_names.append(random.choice(product_categories[category]))# 生成销售数量（1-100）sales_quantities = np.random.randint(1, 101, size=data_size)# 生成销售单价（根据商品类别设置不同范围）sales_prices = []for category in categories:if category == '电子产品':price = round(random.uniform(1000, 10000), 2)elif category == '服装':price = round(random.uniform(50, 500), 2)else: # 家居用品price = round(random.uniform(30, 300), 2)sales_prices.append(price)# 生成销售日期（过去3个月内的随机日期）end_date = datetime.now()start_date = end_date - timedelta(days=90)sales_dates = [fake.date_between(start_date=start_date, end_date=end_date).strftime('%Y-%m-%d') for _ in range(data_size)]# 生成客户IDcustomer_ids = [f'CUST{1000 + i}' for i in range(data_size)]# 生成客户所在地区customer_regions = [random.choice(regions) for _ in range(data_size)]# 制造一些缺失值（销售单价字段，约2%）missing_indices = random.sample(range(data_size), int(data_size * 0.02))for idx in missing_indices:sales_prices[idx] = np.nan# 制造一些异常值（销售数量字段，约1%）outlier_indices = random.sample(range(data_size), int(data_size * 0.01))for idx in outlier_indices:sales_quantities[idx] = random.randint(1500, 2000)# 制造一些重复数据（约0.3%）duplicate_indices = random.sample(range(data_size), 3)for idx in duplicate_indices:# 复制一条记录的信息order_ids.append(order_ids[idx])categories.append(categories[idx])product_names.append(product_names[idx])sales_quantities = np.append(sales_quantities, sales_quantities[idx])sales_prices.append(sales_prices[idx])sales_dates.append(sales_dates[idx])customer_ids.append(customer_ids[idx])customer_regions.append(customer_regions[idx])# 创建DataFramedf = pd.DataFrame({'订单编号': order_ids,'商品名称': product_names,'商品类别': categories,'销售数量': sales_quantities,'销售单价': sales_prices,'销售日期': sales_dates,'客户ID': customer_ids,'客户所在地区': customer_regions})# 保存为CSV文件df.to_csv('ecommerce_sales_data.csv', index=False)print("模拟数据生成完成，已保存为'ecommerce_sales_data.csv'")

运行上述代码需要安装Faker库，可使用pip install faker命令进行安装。生成的数据包含了订单编号、商品名称、商品类别等字段，且包含了一定的缺失值、异常值和重复数据，与实战场景较为接近，适合用于数据处理练习。

生成数据后，我们就可以使用以下代码读取数据：

import pandas as pd# 读取CSV格式的电商销售数据data = pd.read_csv('ecommerce_sales_data.csv')# 查看数据的基本信息print(data.info())# 查看前5行数据print(data.head())

数据清洗

缺失值处理：通过查看数据发现，“销售单价” 字段有少量缺失值，约占总数据量的 2%。由于缺失比例较小，我们采用删除包含缺失值的记录的方法进行处理。

# 检查各字段缺失值情况print(data.isnull().sum())# 删除“销售单价”字段有缺失值的记录data = data.dropna(subset=['销售单价'])

异常值处理：绘制 “销售数量” 字段的箱线图，发现有几个数值远高于其他数据，经过核实，这些异常值是由于订单录入错误导致的，我们对其进行了修正。

import matplotlib.pyplot as plt# 绘制“销售数量”字段的箱线图plt.figure(figsize=(10, 6))plt.boxplot(data['销售数量'])plt.title('销售数量箱线图')plt.show()# 假设异常值的阈值为1000，将大于1000的销售数量修正为合理值（此处以均值为例）sales_quantity_mean = data[data['销售数量'] <= 1000]['销售数量'].mean()data.loc[data['销售数量'] > 1000, '销售数量'] = sales_quantity_mean

重复数据处理：通过 “订单编号” 字段查找重复数据，发现有 3 条重复记录，我们保留了其中一条有效记录。

# 查找重复数据duplicate_data = data[data.duplicated('订单编号')]print('重复数据：')print(duplicate_data)# 去除重复数据，保留第一条记录data = data.drop_duplicates('订单编号', keep='first')

数据转换

数据类型转换：“销售日期” 字段原本为字符串类型，我们使用 Pandas 将其转换为日期类型，以便进行按时间维度的分析。

# 将“销售日期”字段转换为日期类型data['销售日期'] = pd.to_datetime(data['销售日期'])

计算衍生字段：根据 “销售数量” 和 “销售单价” 计算出 “销售金额” 字段，公式为 “销售金额 = 销售数量 × 销售单价”。

# 计算销售金额字段data['销售金额'] = data['销售数量'] * data['销售单价']

数据分析

销售趋势分析：按销售日期对销售金额进行分组汇总，绘制折线图，分析不同时间段的销售趋势。发现周末和节假日的销售金额明显高于工作日，且在某个促销活动期间，销售金额达到了峰值。

# 按销售日期分组汇总销售金额daily_sales = data.groupby('销售日期')['销售金额'].sum().reset_index()# 绘制销售趋势折线图plt.figure(figsize=(12, 6))plt.plot(daily_sales['销售日期'], daily_sales['销售金额'])plt.title('每日销售金额趋势图')plt.xlabel('销售日期')plt.ylabel('销售金额（元）')plt.xticks(rotation=45)plt.grid(True)plt.show()

商品类别分析：按商品类别对销售数量和销售金额进行汇总，发现 “电子产品” 类别无论是销售数量还是销售金额都位居榜首，“服装” 类别次之。

# 按商品类别分组汇总销售数量和销售金额category_sales = data.groupby('商品类别')[['销售数量', '销售金额']].sum().reset_index()print(category_sales)

地区销售分析：按客户所在地区对销售金额进行汇总，得出各地区的销售业绩，发现一线城市的销售金额明显高于其他地区。

# 按客户所在地区分组汇总销售金额region_sales = data.groupby('客户所在地区')['销售金额'].sum().reset_index()print(region_sales)

结果可视化

除了上述提到的折线图，我们还使用 Pandas 和 Matplotlib 绘制了柱状图（展示各商品类别的销售金额）、饼图（展示各地区销售金额占比）等，通过这些图表更直观地展示了分析结果。

# 绘制各商品类别的销售金额柱状图plt.figure(figsize=(12, 6))plt.bar(category_sales['商品类别'], category_sales['销售金额'])plt.title('各商品类别销售金额柱状图')plt.xlabel('商品类别')plt.ylabel('销售金额（元）')plt.xticks(rotation=45)plt.grid(axis='y')plt.show()# 绘制各地区销售金额占比饼图plt.figure(figsize=(10, 10))plt.pie(region_sales['销售金额'], labels=region_sales['客户所在地区'], autopct='%1.1f%%')plt.title('各地区销售金额占比饼图')plt.show()