python数据分析（五）：Pandas 数据检索技术

Pandas 数据检索技术全面指南

1. 引言

Pandas 是 Python 数据分析的核心库，提供了高效便捷的数据检索功能。无论是简单的条件筛选还是复杂的分组聚合，Pandas 都能优雅地处理。本文将详细介绍 Pandas 的各种数据检索技术，并通过实际代码示例展示其强大功能。

2. 基础条件查询

2.1 布尔索引

最基本的条件查询方式是使用布尔索引：

import pandas as pd# 创建示例数据
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],'Age': [25, 30, 35, 40, 45],'Salary': [50000, 60000, 70000, 80000, 90000]}
df = pd.DataFrame(data)# 选择年龄大于30的记录
result = df[df['Age'] > 30]
print(result)

解释：

• df['Age'] > 30 返回一个布尔 Series
• 将这个布尔 Series 作为索引传入 DataFrame，会返回所有值为 True 的行

2.2 多条件组合

可以使用 & (与)、| (或)、~ (非) 组合多个条件：

# 选择年龄大于30且工资小于80000的记录
result = df[(df['Age'] > 30) & (df['Salary'] < 80000)]
print(result)# 选择年龄小于30或大于40的记录
result = df[(df['Age'] < 30) | (df['Age'] > 40)]
print(result)

注意：每个条件必须用括号括起来，因为运算符优先级问题。

3. query() 方法

query() 方法提供了一种更简洁的条件查询方式：

3.1 基本查询

# 使用query方法选择年龄大于30的记录
result = df.query('Age > 30')
print(result)

3.2 多条件查询

# 选择年龄大于30且工资小于80000的记录
result = df.query('Age > 30 and Salary < 80000')
print(result)# 使用or条件
result = df.query('Age < 30 or Age > 40')
print(result)

3.3 使用变量查询

# 定义变量
min_age = 30
max_salary = 80000# 在query中使用变量
result = df.query('Age > @min_age and Salary < @max_salary')
print(result)

优点：

• 语法更简洁
• 可以直接使用列名而不需要重复写df[]
• 支持使用外部变量（需要加@前缀）

4. 分组聚合查询

4.1 groupby() 基础

# 创建包含部门的示例数据
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva'],'Department': ['HR', 'IT', 'HR', 'IT', 'Finance'],'Salary': [50000, 60000, 70000, 80000, 90000]}
df = pd.DataFrame(data)# 按部门分组并计算平均工资
result = df.groupby('Department')['Salary'].mean()
print(result)

输出：

Department
Finance    90000
HR        60000
IT        70000
Name: Salary, dtype: int64

4.2 多重分组

# 添加更多数据
data = {'Name': ['Alice', 'Bob', 'Charlie', 'David', 'Eva', 'Frank'],'Department': ['HR', 'IT', 'HR', 'IT', 'Finance', 'Finance'],'Gender': ['F', 'M', 'M', 'M', 'F', 'M'],'Salary': [50000, 60000, 70000, 80000, 90000, 85000]}
df = pd.DataFrame(data)# 按部门和性别分组，计算平均工资
result = df.groupby(['Department', 'Gender'])['Salary'].mean()
print(result)

输出：

Department  Gender
Finance     F         90000M         85000
HR          F         50000M         70000
IT          M         70000
Name: Salary, dtype: int64

4.3 聚合函数

可以同时应用多个聚合函数：

# 按部门分组，对工资应用多个聚合函数
result = df.groupby('Department')['Salary'].agg(['mean', 'max', 'min', 'count'])
print(result)

输出：

          mean    max    min  count
Department                         
Finance   87500  90000  85000      2
HR        60000  70000  50000      2
IT        70000  80000  60000      2

5. 透视表 (pivot_table)

透视表是强大的数据汇总工具，可以看作是高级版的分组聚合。

5.1 基本透视表

# 创建透视表，计算各部门的平均工资
result = pd.pivot_table(df, values='Salary', index='Department', aggfunc='mean')
print(result)

5.2 多维度透视表

# 按部门和性别计算平均工资
result = pd.pivot_table(df, values='Salary', index='Department', columns='Gender', aggfunc='mean')
print(result)

输出：

Gender         F      M
Department             
Finance   90000  85000
HR        50000  70000
IT          NaN  70000

5.3 多重聚合函数

# 对同一数据应用多个聚合函数
result = pd.pivot_table(df, values='Salary', index='Department', aggfunc=['mean', 'max', 'min', 'count'])
print(result)

5.4 填充缺失值和汇总

# 添加margins参数显示总计
result = pd.pivot_table(df, values='Salary', index='Department', columns='Gender', aggfunc='mean',margins=True,margins_name='Total')
print(result)

输出：

Gender         F      M   Total
Department                     
Finance   90000  85000  87500
HR        50000  70000  60000
IT          NaN  70000  70000
Total    70000  75000  72500

6. 高级检索技巧

6.1 isin() 方法

# 选择特定部门的员工
departments = ['HR', 'Finance']
result = df[df['Department'].isin(departments)]
print(result)

6.2 between() 方法

# 选择工资在60000到80000之间的员工
result = df[df['Salary'].between(60000, 80000)]
print(result)

6.3 str 访问器

# 选择名字以A开头的员工
result = df[df['Name'].str.startswith('A')]
print(result)# 选择名字包含a的员工（不区分大小写）
result = df[df['Name'].str.contains('a', case=False)]
print(result)

7. 性能优化技巧

7.1 使用query()提高性能

对于大型DataFrame，query()通常比布尔索引更快：

# 创建大型DataFrame
import numpy as np
large_df = pd.DataFrame({'A': np.random.rand(1000000),'B': np.random.rand(1000000)})# 比较两种方法的性能
%timeit large_df[(large_df['A'] > 0.5) & (large_df['B'] < 0.5)]
%timeit large_df.query('A > 0.5 and B < 0.5')

7.2 使用eval()进行表达式求值

# 使用eval计算新列
df.eval('Bonus = Salary * 0.1', inplace=True)
print(df)

8. 总结

1. 布尔索引是最基础的条件查询方式，适合简单条件筛选
2. query()方法提供了更简洁的语法，特别适合复杂条件查询
3. 分组聚合(groupby) 是数据分析的核心操作，可以按不同维度汇总数据
4. 透视表(pivot_table) 提供了更灵活的多维数据汇总能力
5. 高级检索技巧如isin(), between(), str访问器等可以处理更复杂的查询需求
6. 性能优化技巧如query()和eval()可以提升大数据集的处理效率

Pandas提供了丰富而强大的数据检索功能，掌握这些技术可以显著提高数据分析的效率和灵活性。根据具体场景选择合适的方法，可以写出既高效又易读的代码。

希望这篇指南能帮助你更好地利用Pandas进行数据检索和分析！