### 3.1 使用 `set` 去重 Python 中最简单的去重方式是使用 `set`，它会自动去除重复元素并返回一个无序集合。若需要保持列表格式，可将 `set` 转换回 `list`。 ```python lst = [1, 3, 5, 3, 4, 4, 2, 9, 6, 7] unique_lst = list(set(lst)) # 去重并转换为列表 ``` 需要注意的是，`set` 方法会破坏原有元素的顺序[^1]。 ### 3.2 使用 `for` 循环创建去重列表 通过遍历原始列表并在新列表中仅添加未出现过的元素，可以保留原始顺序并实现去重。 ```python list1 = [3, 2, 1, 3, 4, 7, 1, 5, 2, 1, '测试1', '测试2', '测试1', '测试3'] temp = [] for i in list1: if i not in temp: temp.append(i) ``` 此方法确保新列表中的元素顺序与原列表一致，并且不包含重复项[^5]。 ### 3.3 使用 `fromkeys()` 方法 通过 `dict.fromkeys()` 创建字典，利用字典键的唯一性实现去重，并可转换为列表以保留顺序。 ```python lst = [1, 3, 5, 8, 9, 9, 0, 0] unique_lst = list(dict.fromkeys(lst)) # 利用字典键自动去重 ``` 该方法不仅实现去重，还能保持元素在原始列表中的顺序[^1]。 ### 3.4 使用 `collections.Counter` 统计重复元素 若不仅需要去重，还需要统计每个元素出现的次数，可以使用 `Counter`。 ```python from collections import Counter a = [1, 2, 3, 3, 4, 4] count = dict(Counter(a)) # 统计每个元素出现的次数 ``` 此方法返回的字典中包含元素及其出现的次数，可用于进一步筛选重复元素。 ### 3.5 使用 `pandas.unique()` 若项目中使用了 `pandas` 库，可以使用其提供的 `unique()` 方法实现高效去重。 ```python import pandas as pd my_list = [1, 2, 2, 3, 4, 4, 5] unique_list = pd.unique(my_list).tolist() # 使用pandas去重并转为列表 ``` 该方法适用于处理大型数据集，具有良好的性能[^4]。 ### 3.6 使用列表推导式结合 `append()` 通过列表推导式实现简洁的去重逻辑，同时保持元素顺序。 ```python list1 = [3, 2, 1, 3, 4, 7, 1, 5, 2, 1, '测试1', '测试2', '测试1', '测试3'] temp = [] [temp.append(i) for i in list1 if i not in temp] ``` 此方法虽然代码简洁，但可读性略低，适用于对代码长度有要求的场景[^5]。 ### 3.7 使用 `numpy.unique()` 对于科学计算场景，`numpy` 提供了高效的去重方法，适用于处理大型数据集。 ```python import numpy as np my_list = [1, 2, 2, 3, 4, 4, 5] unique_list = np.unique(my_list).tolist() # 使用numpy去重并转为列表 ``` 该方法在处理大规模数据时性能优于其他方式[^4]。 ###