<think>我们被要求计算数据中非重复值（唯一值）的数量。在Pandas中，有几种方法可以实现这个目标。 根据引用[3]中提到的需求，我们需要统计某字段中不重复值的数量。在Pandas中，这可以通过`nunique()`方法实现。 以下是几种常见场景的解决方法： 1. 计算整个DataFrame中每一列的非重复值数量： `df.nunique()` 2. 计算某一列的非重复值数量： `df['列名'].nunique()` 3. 计算多列组合的非重复值数量（即多列组合的唯一值）： `df[['列1','列2']].drop_duplicates().shape[0]` 或者使用： `df.groupby(['列1','列2']).ngroups` （但注意，这得到的是分组后的组数，也就是组合的唯一值数量） 4. 计算整个DataFrame中所有值的非重复值数量（将整个DataFrame视为扁平化）： `pd.Series(df.values.ravel()).nunique()` 另外，我们也可以使用`unique()`方法获取唯一值列表，然后计算长度，但这对于大数据集可能效率较低。 引用[4]中提到了在Excel中去除重复值并统计数量，而在Pandas中，我们可以用更简洁的方式完成。 下面我们通过示例说明： 示例数据： ```python import pandas as pd data = { '分店': ['A', 'A', 'B', 'B', 'B', 'C', 'C'], '姓名': ['张三', '李四', '张三', '王五', '张三', '李四', '李四'] } df = pd.DataFrame(data) ``` 问题1：统计“分店”列的非重复值数量 问题2：统计每个分店的不重复姓名数量 问题3：统计整个数据集中不重复的姓名的总数量 解答： 问题1： ```python num_unique_shops = df['分店'].nunique() print(num_unique_shops) # 输出：3 ``` 问题2：按分店分组，然后对每个组内的“姓名”列求非重复值数量 ```python unique_names_per_shop = df.groupby('分店')['姓名'].nunique() print(unique_names_per_shop) ``` 输出： ``` 分店 A 2 B 2 C 1 Name: 姓名, dtype: int64 ``` 问题3： ```python total_unique_names = df['姓名'].nunique() print(total_unique_names) # 输出：3 ``` 另外，如果我们想计算多列组合的非重复值数量，例如计算（分店，姓名）组合的唯一数量，可以用： ```python num_unique_combinations = df[['分店','姓名']].drop_duplicates().shape[0] # 或者 num_unique_combinations = df.groupby(['分店','姓名']).ngroups # 或者 num_unique_combinations = len(df[['分店','姓名']].drop_duplicates()) ``` 注意：`nunique()`方法默认不包括NaN值，如果希望包括NaN，可以设置`dropna=False`。 对于大数据集，使用`nunique()`比先获取唯一值列表再计算长度更高效，因为它使用近似算法（特别是对于大数据集）来计数。 引用[2]中提到了去除重复值的重要性，同样，在统计非重复值数量时，我们也要注意数据的准确性和效率。 因此，总结如下： - 单列非重复值数量：`df['列名'].nunique()` - 分组后每组非重复值数量：`df.groupby('分组列')['统计列'].nunique()` - 多列组合的非重复值数量：用`drop_duplicates`后取行数或`groupby`的`ngroups` 最后，我们生成相关问题。 </think> 在 Pandas 中计算数据非重复值（唯一值）数量的方法主要有以下几种高效方式： ### 1. 单列非重复值计数 ```python import pandas as pd # 创建示例数据 data = {'分店': ['A', 'A', 'B', 'B', 'C', 'C'], '姓名': ['张三', '李四', '王五', '张三', '李四', '李四']} df = pd.DataFrame(data) # 计算"姓名"列的非重复值数量 unique_count = df['姓名'].nunique() print(f"非重复姓名数量: {unique_count}") # 输出: 3 ``` ### 2. 多列组合非重复值计数 ```python # 计算(分店,姓名)组合的非重复值数量 combination_count = df[['分店', '姓名']].drop_duplicates().shape[0] print(f"分店-姓名组合唯一值数量: {combination_count}") # 输出: 5 # 等价方法 combination_count = df.groupby(['分店', '姓名']).ngroups ``` ### 3. 分组统计非重复值 ```python # 统计每个分店的不重复姓名数量 result = df.groupby('分店')['姓名'].nunique().reset_index() result.columns = ['分店', '不重复姓名数'] print(result) ``` 输出： ``` 分店 不重复姓名数 0 A 2 1 B 2 2 C 1 ``` ### 4. 整个DataFrame的非重复值计数 ```python # 计算整个DataFrame中所有值的非重复数量 total_unique = pd.unique(df.values.ravel('K')).size print(f"全表唯一值总数: {total_unique}") # 输出: 4 (A,B,C,张三,李四,王五) ``` ### 5. 使用数据透视表统计 ```python # 使用透视表统计各分店不重复姓名数 pivot_result = df.pivot_table( index='分店', values='姓名', aggfunc=pd.Series.nunique, fill_value=0 ) print(pivot_result) ``` ### 性能优化技巧 1. **大数据集处理**： ```python # 使用近似算法加速（误差约0.5%） large_df['列名'].nunique(dropna=True, approx=True) ``` 2. **内存优化**： ```python # 将字符串列转换为category类型 df['姓名'] = df['姓名'].astype('category') unique_count = df['姓名'].nunique() ``` 3. **排除空值计数**： ```python # 不包括NaN值（默认） df['列名'].nunique(dropna=True) # 包含NaN作为独立值 df['列名'].nunique(dropna=False) ``` ### 方法对比 | 方法 | 适用场景 | 优点 | 缺点 | |---------------------------|---------------------------|-------------------------|--------------------| | `Series.nunique()` | 单列唯一值计数 | 最简洁高效 | 仅限单列 | | `drop_duplicates().shape` | 多列组合唯一值 | 直观灵活 | 需创建临时数据副本 | | `groupby().nunique()` | 分组统计唯一值 | 结果结构化 | 语法稍复杂 | | `pd.unique().size` | 全表唯一值总数 | 全面统计 | 内存消耗大 | | 数据透视表 | 多维分析+可视化准备 | 输出格式友好 | 配置参数较多 | > 提示：对于超大数据集（>1000万行），推荐使用`dask.dataframe`实现分布式计算： > ```python > import dask.dataframe as dd > ddf = dd.from_pandas(df, npartitions=4) > unique_count = ddf['姓名'].nunique().compute() > ```