如何从 Python 中的 List 中删除重复项的9种方法

off999 2024-12-28 14:45 39 浏览 0 评论

方法一：使用集合（set）可以将列表转换为一个集合来删除重复项，然后再将其转换回列表。

lst = [1, 2, 3, 2, 1]
lst = list(set(lst))
print(lst)
[1, 2, 3]

方法二：使用列表推导式可以使用列表推导式和字典（dict）来删除重复项。首先，将列表中的元素用字典的键来存储，这样重复的元素会自动被去除。然后，再将字典的键转换为列表。

lst = [1, 2, 3, 2, 1]
lst = list(dict.fromkeys(lst))
print(lst)

方法三：使用循环可以使用循环来遍历列表并使用一个新列表来保存不重复的元素。如果元素不在新列表中，则将其添加到新列表中。

lst = [1, 2, 3, 2, 1]
new_lst = []
for item in lst:
    if item not in new_lst:
        new_lst.append(item)
print(new_lst)

方法四：使用 Counter 对象可以使用 Python 标准库中的 Counter 对象来删除重复项。Counter 对象会对列表中的元素进行计数，然后使用其 most_common 方法来获取出现次数最多的元素。在这种情况下，只需要获取最常见的元素即可，因为重复的元素都会在计数中重复出现。

from collections import Counter

lst = [1, 2, 3, 2, 1]
c = Counter(lst)
lst = [x[0] for x in c.most_common()]
print(lst)

方法五：使用 Pandas 如果您的数据集较大且包含许多重复项，则使用 Pandas 库可能更加有效。可以将列表转换为 Pandas 的 Series 对象，然后使用 drop_duplicates 方法来删除重复项。

import pandas as pd

lst = [1, 2, 3, 2, 1]
s = pd.Series(lst)
lst = s.drop_duplicates().tolist()
print(lst)

方法六：使用排序。可以使用 Python 的内置 sorted 函数对列表进行排序，然后在遍历排序后的列表时，跳过重复项，只将独特的项添加到新列表中。

lst = [1, 2, 3, 2, 1] 
new_lst = [] 
for i in sorted(lst): 
     if not new_lst or i != new_lst[-1]: new_lst.append(i) 
     print(new_lst)

方法七：使用 filter 函数。可以使用 Python 的内置 filter 函数来过滤掉重复项。

lst = [1, 2, 3, 2, 1]
new_lst = list(filter(lambda x: lst.count(x) == 1, lst))
print(new_lst)

方法八：使用 numpy 库。可以使用 numpy 库的 unique 函数来获取列表中的唯一值。

import numpy as np
lst = [1, 2, 3, 2, 1] lst = np.unique(lst).tolist() print(lst)

方法九：使用集合（set）的 union 方法。可以使用 Python 的集合（set）的 union 方法来获取两个集合的唯一值。将列表作为参数传递给集合的 union 方法，然后将其转换回列表。

lst = [1, 2, 3, 2, 1] 
lst = list(set().union(lst)) print(lst)

这些方法都可以有效地从 Python 列表中删除重复项。在实际应用中，选择哪种方法通常取决于数据集大小和性能需求。还有的请补充。

相关推荐