### Python中用于去重的函数及其实现方式 #### 1. ### 使用`set`实现列表去重 Python中的`set`是一种无序且不包含重复元素的数据结构。通过将列表转换为集合再转回列表的方式，可以轻松去除列表中的重复项[^2]^。 ```python my_list = [1, 2, 2, 3, 4, 4, 5] unique_items = list(set(my_list)) print(unique_items) # 输出可能为 [1, 2, 3, 4, 5] 或其他顺序排列 ``` 此方法的优点在于其简洁性和高效性，但由于`set`本身是无序的，因此无法保留原列表中元素的顺序[^3]^。 #### 2. ### 自定义有序去重函数 如果需要保持原有列表中元素的顺序，则可以通过遍历列表并借助辅助数据结构（如`set`）来实现去重功能[^1]^。 ```python def remove_duplicates(input_list): seen = set() result = [] for item in input_list: if item not in seen: seen.add(item) result.append(item) return result my_list = [1, 2, 2, 3, 4, 4, 5] unique_ordered_items = remove_duplicates(my_list) print(unique_ordered_items) # 输出 [1, 2, 3, 4, 5] ``` 这种方法不仅实现了去重目的，还确保了最终结果与输入列表具有相同的元素顺序[^1]^。 #### 3. ### 利用字典键唯一性进行去重 另一种优雅的做法是利用字典键不可重复的特点来进行去重操作。尽管这种方式较少见，但在某些情况下也能派上用场[^4]^。 ```python my_list = ['apple', 'banana', 'apple', 'orange'] unique_items = list(dict.fromkeys(my_list).keys()) print(unique_items) # 输出 ['apple', 'banana', 'orange'] ``` 这里使用了`dict.fromkeys()`创建了一个新字典，其中包含了来自`my_list`的所有独特条目作为键值对的一部分。之后再次将其转化为列表形式即完成了整个过程[^4]^。 #### 4. ### 处理复杂数据类型的去重 对于含有可变对象（如字典或其他嵌套结构）的情况，简单的`set`转化不再适用。此时需考虑更加复杂的逻辑来比较各个子组件之间的相似程度[^4]^。 ```python from collections import defaultdict data = [{'id': 1}, {'id': 2}, {'id': 1}] temp_dict = defaultdict(int) for d in data: temp_key = tuple(d.items()) temp_dict[temp_key] += 1 cleaned_data = [{k:v} for k,v in dict(temp_dict).items()] print(cleaned_data) # 结果展示取决于具体需求调整映射关系 ``` 以上代码片段展示了针对较为棘手情形下的一种解决方案思路[^4]^。 ---