Pandas 数据处理：长格式到宽格式的全面指南
在数据分析中，数据格式的选择对于后续的分析操作至关重要。长格式（Long Format）和宽格式（Wide Format）各有其优缺点。长格式适合进行分组、聚合等复杂分析，而宽格式则更适合展示和进行简单的分析操作。Pandas 提供了强大的工具来灵活地转换数据格式，其中 pivot() 和 pivot_table() 函数可以方便地将长格式的 DataFrame 转换为宽格式。本文将详细介绍如何使用这些函数进行转换，包括处理多级索引的情况。
长格式与宽格式的区别
长格式（Long Format）
长格式是一种灵活的数据结构，每一行表示一个观测单位的一个变量值，通常包含两列：一列表示变量名，另一列表示对应的值。这种格式非常适合进行分组、聚合等复杂分析，因为它可以轻松地处理多个变量。
优点：
- 数据结构灵活，适合复杂分析。
- 便于处理多个变量。
缺点：
- 数据量会增加，因为每一行只包含一个变量值。
- 不利于展示和简单分析。
宽格式（Wide Format）
宽格式是一种常见的数据结构，每一行通常表示一个观测单位（如一个人、一个实验样本等），而每一列表示不同的变量或特征。这种格式的数据结构较为紧凑，非常适合展示和进行简单的分析操作。
优点：
- 数据结构紧凑，适合展示。
- 适合简单分析操作。
缺点：
- 当变量较多时，数据会变得非常宽，难以阅读。
- 不利于进行复杂的数据分析操作，如分组、聚合等。
使用 Pandas 转换数据格式
在实际的数据分析中，我们常常需要根据分析的需求将长格式的数据转换为宽格式。Pandas 提供了两个非常强大的函数 pivot() 和 pivot_table()，专门用于进行这种转换。此外，当处理带有**多级索引（MultiIndex）**的数据时，这些函数同样适用。
使用 pivot()
pivot() 函数用于将长格式的 DataFrame 转换为宽格式，适用于没有重复索引的情况。以下是 pivot() 的函数语法和参数说明：
函数语法
DataFrame.pivot(index=None, columns=None, values=None)
参数说明
index：指定作为行索引的列名。columns：指定作为列索引的列名。values：指定要聚合的值列名。
示例代码
假设我们有一个长格式的 DataFrame，包含学生的姓名、科目和分数：
| Name | Subject | Score |
|---|---|---|
| Alice | Math | 90 |
| Bob | Math | 80 |
| Charlie | Math | 70 |
| Alice | Science | 85 |
| Bob | Science | 92 |
| Charlie | Science | 88 |
| Alice | English | 78 |
| Bob | English | 85 |
| Charlie | English | 95 |
import pandas as pd# 创建长格式的 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie'],'Subject': ['Math', 'Math', 'Math', 'Science', 'Science', 'Science', 'English', 'English', 'English'],'Score': [90, 80, 70, 85, 92, 88, 78, 85, 95]
}
df_long = pd.DataFrame(data)# 使用 pivot() 将长格式转换为宽格式
df_wide = df_long.pivot(index='Name', columns='Subject', values='Score')print("转换为宽格式后的 DataFrame：")
print(df_wide)
输出的宽格式 DataFrame：
| Name | English | Math | Science |
|---|---|---|---|
| Alice | 78 | 90 | 85 |
| Bob | 85 | 80 | 92 |
| Charlie | 95 | 70 | 88 |
在这个例子中，我们使用了 pivot() 函数，将 Name 列作为行索引，Subject 列作为列索引，Score 列作为值列，成功地将长格式转换为宽格式。
使用 pivot_table()
pivot_table() 函数用于将长格式的 DataFrame 转换为宽格式，适用于存在重复索引的情况。pivot_table() 可以对重复的索引进行聚合操作。以下是 pivot_table() 的函数语法和参数说明：
函数语法
DataFrame.pivot_table(values=None, index=None, columns=None, aggfunc='mean', fill_value=None, margins=False, dropna=True, margins_name='All')
参数说明
values：指定要聚合的值列名。index：指定作为行索引的列名。columns：指定作为列索引的列名。aggfunc：指定聚合函数，默认为'mean'。fill_value：指定缺失值的填充值。margins：是否添加汇总行和列，默认为False。dropna：是否删除缺失值，默认为True。margins_name：汇总行和列的名称，默认为'All'。
示例代码
假设我们有一个长格式的 DataFrame，包含学生的姓名、科目和分数，其中存在重复的索引：
| Name | Subject | Score |
|---|---|---|
| Alice | Math | 90 |
| Bob | Math | 80 |
| Charlie | Math | 70 |
| Alice | Science | 85 |
| Bob | Science | 92 |
| Charlie | Science | 88 |
| Alice | English | 78 |
| Bob | English | 85 |
| Charlie | English | 95 |
| Alice | Math | 92 |
| Bob | Math | 82 |
| Charlie | Math | 75 |
import pandas as pd# 创建长格式的 DataFrame
data = {'Name': ['Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie', 'Alice', 'Bob', 'Charlie'],'Subject': ['Math', 'Math', 'Math', 'Science', 'Science', 'Science', 'English', 'English', 'English', 'Math', 'Math', 'Math'],'Score': [90, 80, 70, 85, 92, 88, 78, 85, 95, 92, 82, 75]
}
df_long = pd.DataFrame(data)# 使用 pivot_table() 将长格式转换为宽格式
df_wide = df_long.pivot_table(index='Name', columns='Subject', values='Score', aggfunc='mean')print("转换为宽格式后的 DataFrame：")
print(df_wide)
输出的宽格式 DataFrame：
| Name | English | Math | Science |
|---|---|---|---|
| Alice | 78 | 91 | 85 |
| Bob | 85 | 81 | 92 |
| Charlie | 95 | 72.5 | 88 |
在这个例子中，我们使用了 pivot_table() 函数，将 Name 列作为行索引，Subject 列作为列索引，Score 列作为值列，并使用 'mean' 作为聚合函数，成功地将长格式转换为宽格式。
处理多级索引
在实际应用中，我们可能会遇到带有**多级索引（MultiIndex）**的长格式数据。Pandas 提供了强大的工具来处理这种情况，主要通过 pivot() 和 pivot_table() 函数实现转换。
假设我们有以下带有 MultiIndex 列的 DataFrame，表示不同组（Group）和科目（Subject）下的学生分数：
| Group | Subject | Student1 | Student2 |
|---|---|---|---|
| A | Math | 85 | 78 |
| A | Science | 88 | 82 |
| B | Math | 92 | 84 |
| B | Science | 94 | 87 |
# 创建带有 MultiIndex 列的 DataFrame
index = pd.MultiIndex.from_tuples([('A', 'Math'), ('A', 'Science'), ('B', 'Math'), ('B', 'Science')], names=['Group', 'Subject'])
data = {'Student1': [85, 88, 92, 94], 'Student2': [78, 82, 84, 87]}
df_multi = pd.DataFrame(data, index=index)# 将 MultiIndex 转换为普通列
df_multi_reset = df_multi.reset_index()# 使用 pivot_table() 将长格式转换为宽格式
df_wide_multi = df_multi_reset.pivot_table(index='Group', columns='Subject', values=['Student1', 'Student2'], aggfunc='mean')print("转换为宽格式后的 DataFrame：")
print(df_wide_multi)
输出的宽格式 DataFrame：
| Group | Student1 | Student2 |
|---|---|---|
| A | Math | 85 |
| A | Science | 88 |
| B | Math | 92 |
| B | Science | 94 |
在这个例子中，我们首先使用 reset_index() 将 MultiIndex 转换为普通列，然后通过 pivot_table() 将其转换为宽格式。通过指定 index='Group' 和 columns='Subject'，我们保留了组和科目信息作为标识变量，同时将学生分数列转换为宽格式。
总结
在数据分析中，长格式和宽格式各有其优缺点。长格式适合进行分组、聚合等复杂分析，而宽格式则更适合展示和进行简单的分析操作。通过使用 Pandas 的 pivot() 和 pivot_table() 函数，我们可以轻松地将长格式的 DataFrame 转换为宽格式。pivot() 适用于没有重复索引的情况，而 pivot_table() 则适用于存在重复索引的情况，并且可以对重复的索引进行聚合操作。此外，当处理带有**多级索引（MultiIndex）**的数据时，这些函数同样适用。
希望这篇文章能帮助你更好地理解和使用 pivot() 和 pivot_table() 函数，从而更高效地进行数据分析工作。