### 使用 Pandas 进行数据清洗 Pandas 是 Python 中用于数据分析的强大工具，提供了多种方法来处理和清理数据集。以下是几种常见的数据清洗操作及其实现方式： #### 处理缺失值 可以使用 `dropna()` 函数删除含有任何 NaN 值的行或列；也可以通过 `fillna()` 来填充这些位置。 ```python import pandas as pd df = pd.DataFrame([[1, 'a'], [None, 'b'], [3, None]], columns=['A', 'B']) # 删除有缺失值的行 cleaned_df_drop = df.dropna() # 用指定值替换NaN cleaned_df_fill = df.fillna(value=0) print(cleaned_df_drop) print(cleaned_df_fill) ``` #### 替换错误的数据条目 如果存在已知模式的不正确输入，则可以通过正则表达式或其他条件逻辑来进行批量修正。 ```python data = {'name': ['John Doe', 'Jane Smith!', '@Alice']} df_names = pd.DataFrame(data) def clean_text(text): import re text = str(text).lower() cleaned_text = re.sub(r'[^a-z\s]', '', text) # 移除非字母字符并转换成小写 return cleaned_text.strip() df_names['clean_name'] = df_names['name'].apply(clean_text) print(df_names[['name','clean_name']]) ``` #### 转换数据类型 有时读入的数据可能被误识别为字符串而非数值型，在这种情况下就需要强制转换其类型。 ```python str_nums = ["1", "2.5", "-3"] num_series = pd.Series(str_nums) float_series = num_series.astype(float) print(num_series.dtype) print(float_series.dtype) ``` #### 合并重复记录 当同一实体有多次出现时，应该考虑将其聚合起来减少冗余度。 ```python people = { "id": [1, 2, 2], "first_name": ["Alex", "Brian", "Brain"], "last_name": ["Smith", "Jones", "Jones"] } df_people = pd.DataFrame(people) no_duplicates = df_people.drop_duplicates(subset=["id"], keep="first") print(no_duplicates) ```