Python CSV 数据分析：问题排查与解决全记录

Python CSV 数据分析：问题排查与解决全记录

前段时间，我接到一个任务，需要对公司的销售数据进行分析。这些数据存储在 CSV 文件里，本想着用 Python 处理起来会很轻松，结果却状况百出。下面，就跟大家讲讲我是如何一步步解决这些问题的。

数据读取时的编码问题

我打算用pandas库来处理 CSV 文件，代码如下：

import pandas as pd

try:
    data = pd.read_csv('sales_data.csv')
except FileNotFoundError:
    print("文件不存在")
except UnicodeDecodeError:
    print("编码错误")

运行代码后，程序报错UnicodeDecodeError。我意识到，可能是 CSV 文件的编码格式有问题。CSV 文件常用的编码格式有utf - 8、gbk等。我通过查阅资料得知，pandas默认以utf - 8编码读取文件。于是，我猜测文件可能是gbk编码，修改代码如下：

import pandas as pd

try:
    data = pd.read_csv('sales_data.csv')
except FileNotFoundError:
    print("文件不存在")
except UnicodeDecodeError:
    print("编码错误")

这次，成功读取了数据。

数据清洗时的异常值问题

读取数据后，我查看数据概况，发现 “销售额” 这一列存在一些异常值，比如负数。我需要将这些异常值筛选出来并处理掉，代码如下：

import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
invalid_data = data[data['销售额'] < 0]
print(invalid_data)

运行代码，能看到具体的异常数据。为了修正这些数据，我跟业务部门沟通后得知，这些负数是录入错误导致的，应该为 0。于是，我修改代码进行数据修正：

import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)

数据分组统计时的类型问题

接下来，我想按 “销售地区” 对销售额进行分组统计，代码如下：

import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)
grouped = data.groupby('销售地区')['销售额'].sum()
print(grouped)

结果运行后，发现统计结果不对。经过排查，我发现 “销售地区” 这一列的数据类型是浮点数，而不是字符串，这导致分组统计出现错误。我通过以下代码修正数据类型：

import pandas as pd

data = pd.read_csv('sales_data.csv', encoding='gbk')
data['销售额'] = data['销售额'].apply(lambda x: 0 if x < 0 else x)
data['销售地区'] = data['销售地区'].astype(str)
grouped = data.groupby('销售地区')['销售额'].sum()
print(grouped)

这次，成功得到了正确的统计结果。

通过这次项目，我深切体会到，在数据分析过程中，遇到问题不可怕，只要掌握正确的排查方法，不断尝试，就能顺利解决问题，完成任务。