python list去重

在Python中，列表（list）去重有多种方法，这里介绍几种常见的方法：

方法1：使用set
set是Python中的一种无序集合，可以用来实现去重。

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(set(my_list))
print(unique_list) # 输出可能是 [1, 2, 3, 4, 5]，注意顺序会改变
如果需要保持原列表的顺序，可以使用以下方法：

方法2：使用dict.fromkeys()
利用dict.fromkeys()的特性，可以保持元素的顺序。

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = list(dict.fromkeys(my_list))
print(unique_list) # 输出 [1, 2, 3, 4, 5]
方法3：使用列表推导式和in操作符
这种方法可以保持元素的原始顺序。

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = []
[unique_list.append(x) for x in my_list if x not in unique_list]
print(unique_list) # 输出 [1, 2, 3, 4, 5]
方法4：使用pandas库（适用于大型数据集）
如果你正在处理大型数据集或者经常需要进行此类操作，使用pandas库可能更方便。

import pandas as pd

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = pd.unique(my_list).tolist()
print(unique_list) # 输出 [1, 2, 3, 4, 5]
方法5：使用numpy库（适用于大型数据集）
对于科学计算，numpy也提供了去重的方法。

import numpy as np

my_list = [1, 2, 2, 3, 4, 4, 5]
unique_list = np.unique(my_list).tolist()
print(unique_list) # 输出 [1, 2, 3, 4, 5]
每种方法都有其适用场景，可以根据具体需求和偏好选择使用。对于大多数普通用途，方法2和3通常足够且简单。如果你正在处理大型数据集，方法4和5可能更高效。