pandas 优雅处理值类型为list的列的csv读写问题

之所以分析这个问题,是因为读者在跟第三方数据供应商对接数据的时候,老是会遇到数据加载都会出错的问题,其中一个原因就是list类型数据没有正确储存,于是笔者在这篇文章里面详细分析一下list数据怎么优雅的写入csv以及读取.

直接存储

第一种方法,直接存,不做任何转换

def direct_write_read():path = Path(__file__).parent.joinpath('direct.csv')df = pd.DataFrame({'id': [1,2,3],'tags': [['tag1', 'tag2'], ['tag3'], ['tag4', 'tag5']]})df.to_csv(path, index=False, encoding='utf-8')rd_df = pd.read_csv(path, encoding='utf-8')print(rd_df['tags'])

csv文件内容

id,tags
1,"['tag1', 'tag2']"
2,['tag3']
3,"['tag4', 'tag5']"

程序打印结果

0    ['tag1', 'tag2']
1            ['tag3']
2    ['tag4', 'tag5']
Name: tags, dtype: object

整个程序能运行,应为都是用的python写文件读取文件,但是csv文件内容不标准,这种处理方式存在潜在问题,容易出现python语言能读写,但是换成其它语言程序读取此csv就可能出现错误,因此不推荐这种处理方式.

join list 变成字符串存储

第二种方法,使用','.join(list)方法将列表连接成字符串存csv,读取的时候再将字符串按照连接字符进行分割.

def join_write_read():path = Path(__file__).parent.joinpath('join.csv')df = pd.DataFrame({'id': [1,2,3],'tags': [['tag1', 'tag2'], ['tag3'], ['tag4', 'tag5']]})df['append'] = df['tags'].apply(lambda x: ','.join(x))df[['id', 'append']].to_csv(path, index=False, encoding='utf-8')rd_df = pd.read_csv(path, encoding='utf-8')rd_df['tags'] = rd_df['append'].apply(lambda x: x.split(','))print(rd_df['tags'])

csv文件内容:

id,append
1,"tag1,tag2"
2,tag3
3,"tag4,tag5"

注意这里自动加入了双引号 文本限定符,因为连接字符为逗号和csv分割符号一致,使用双引号限定符避免因为逗号问题破坏csv结构.
程序输出结果:

0    [tag1, tag2]
1          [tag3]
2    [tag4, tag5]

这种方法只能正对简单的字符串列表,且列表中每一个元素字符串不能存再链接字符,不然读取的数据split后就错误
所以这种方法只能在你确定了列表中元素字符串都不可能有用于连接的字符时,才使用.总之,此方法也有其局限性.

json.dumps序列化存储以及json.loads反序列化读取

这是目前最好的处理方法,将列表使用json.dumps方法序列化为json字符串存储,读取的时候反序列化成列表即可:

def json_write_read():path = Path(__file__).parent.joinpath('json.csv')df = pd.DataFrame({'id': [1,2,3],'tags': [['tag1', 'tag2'], ['tag3'], ['tag4', 'tag5']]})df['json'] = df['tags'].apply(json.dumps)df[['id', 'json']].to_csv(path, index=False, encoding='utf-8')rd_df = pd.read_csv(path, encoding='utf-8')rd_df['tags'] = rd_df['json'].apply(json.loads)print(rd_df['tags'])print(rd_df['tags'][0])

csv文本内容:

id,json
1,"[""tag1"", ""tag2""]"
2,"[""tag3""]"
3,"[""tag4"", ""tag5""]"

非常标准的list字符串存csv
程序输出结果

0    [tag1, tag2]
1          [tag3]
2    [tag4, tag5]
Name: tags, dtype: object

此方法还可以用来存储以及读取向两数据,如下例子处理向量数据的读写问题

def vec_write_read():path = Path(__file__).parent.joinpath('vec.csv')df = pd.DataFrame({'id': [1,2,3],'vec': [[1, 2, 3], [2, 0, 1], [1, 1, 2]]})df['vec_s'] = df['vec'].apply(json.dumps)df[['id', 'vec_s']].to_csv(path, index=False)rd_df = pd.read_csv(path)rd_df['vec'] = rd_df['vec_s'].apply(json.loads)print(rd_df['vec'])

csv文件内容:

id,vec_s
1,"[1, 2, 3]"
2,"[2, 0, 1]"
3,"[1, 1, 2]"

输出结果:

0    [1, 2, 3]
1    [2, 0, 1]
2    [1, 1, 2]
Name: vec, dtype: object

如果这个场景还在用第二种join方式转成字符串还需要把每个维度数值转为字符串才能join,实现起来就不太合适了.

总结

所以pandas里面list数据列存csv最佳做法还是将该列数据json.dumps成json字符串保存,读取的时候使用json.loads还原