在 Pandas 中，**不推荐使用传统循环（如 `for row in df:` 或 `for i in range(len(df))`）遍历 DataFrame**，因为这违背了 Pandas 的向量化设计哲学，会导致性能严重下降（尤其在大数据集上），且容易出错（如修改视图而非原数据、索引对齐问题等）。但实际开发中，确有少量场景需逐行/逐列处理（如复杂业务逻辑、调试、生成非向量化结果）。以下是**正确、安全、高效**的遍历方式及其适用场景详解： --- ### ✅ 1. **`iterrows()` —— 按行迭代（返回 (index, Series)）** ```python import pandas as pd df = pd.DataFrame({ 'name': ['Alice', 'Bob', 'Charlie'], 'age': [25, 30, 35], 'city': ['Beijing', 'Shanghai', 'Guangzhou'] }) for idx, row in df.iterrows(): print(f"Index: {idx}, Name: {row['name']}, Age: {row['age']}") ``` - ✅ 优点：语义清晰，`row` 是 `pd.Series`，支持按列名访问（`row['col']`）。 - ⚠️ 缺点：**性能差**（每行都构造新 Series，类型推断开销大），且 `row` 是**只读副本**，修改 `row['col'] = x` **不会影响原 DataFrame**。 - 📌 适用：小数据量、调试、逻辑简单、无需修改原数据。 --- ### ✅ 2. **`itertuples()` —— 按行迭代（返回命名元组，最快推荐）** ```python for row in df.itertuples(): print(f"Index: {row.Index}, Name: {row.name}, Age: {row.age}") # 或用索引：row[1], row[2]（但推荐列名，更可读） ``` - ✅ 优点：**速度最快**（比 `iterrows()` 快 5–10 倍），返回 `pandas.core.frame.Pandas` 命名元组（默认含 `Index` 字段），列名作为属性访问，**零拷贝开销**。 - ⚠️ 注意：列名若含空格/特殊字符，会转为 `_`（如 `'first name'` → `first_name`）；可用 `name=None` 禁用命名元组（返回普通 tuple）。 - 📌 适用：**绝大多数需要逐行处理的生产场景**（首选！）。 --- ### ✅ 3. **`items()` —— 按列迭代（返回 (column_name, Series)）** ```python for col_name, col_series in df.items(): print(f"Column '{col_name}': {col_series.tolist()}") ``` - ✅ 优点：适合列级操作（如统计、转换整列）。 - ⚠️ 不是“遍历行”，勿混淆。 --- ### ✅ 4. **`apply()` / `applymap()` / `agg()` —— 向量化替代方案（强烈推荐）** > ✨ **90% 的“遍历需求”其实应被向量化操作替代！** ```python # ✅ 正确：向量化计算（快、简洁、安全） df['is_adult'] = df['age'] >= 18 # 布尔向量化 df['name_upper'] = df['name'].str.upper() # 字符串向量化 # ✅ 复杂逻辑？用 apply（axis=1 行级，axis=0 列级） df['info'] = df.apply( lambda row: f"{row['name']} ({row['age']}) from {row['city']}", axis=1 ) # ✅ 自定义函数 + apply（更清晰） def make_info(row): return f"{row.name} ({row.age}) in {row.city}" df['info_v2'] = df.apply(make_info, axis=1) ``` - ✅ `apply` 内部仍可能循环，但封装了优化（如 `numba` JIT 支持），且语义明确、可链式调用。 - ⚠️ `axis=1` 时性能低于纯向量化，但远优于 `iterrows()`。 --- ### ❌ 绝对避免的错误方式： ```python # ❌ 错误1：直接 for 循环 DataFrame → 遍历列名，不是行！ for col in df: # col 是列名字符串，不是行！ print(col) # ❌ 错误2：用 range(len(df)) + iloc → 易索引错误、无类型提示、慢 for i in range(len(df)): name = df.iloc[i]['name'] # 多次 iloc 查找，极慢 # ❌ 错误3：修改 iterrows() 的 row → 不生效！ for idx, row in df.iterrows(): row['age'] += 1 # ❌ 原 df['age'] 不变！ ``` --- ### 🔧 进阶技巧：批量处理 + 索引安全 ```python # 若需修改原 DataFrame，用 loc/iloc 显式赋值 for idx, row in df.iterrows(): if row['age'] > 30: df.loc[idx, 'category'] = 'senior' # ✅ 安全修改 # 或用布尔索引（更推荐） df.loc[df['age'] > 30, 'category'] = 'senior' ``` --- ### 📊 性能对比（10k 行 DataFrame）参考： | 方法 | 耗时（近似） | 是否可修改原数据 | 推荐度 | |------------------|--------------|------------------|--------| | `itertuples()` | 1x（基准） | ❌（需配合 `loc`）| ⭐⭐⭐⭐⭐ | | `iterrows()` | 5–10x | ❌ | ⭐⭐ | | `df.apply(..., axis=1)` | 2–3x | ✅（返回新列） | ⭐⭐⭐⭐ | | 向量化（`df['col'] > 0`）| 0.01x | ✅ | ⭐⭐⭐⭐⭐ | --- ### ✅ 最佳实践总结： 1. **优先用向量化操作**（`+`, `.str`, `.dt`, 布尔索引等）； 2. **必须逐行？选 `itertuples()`**（速度+可读性平衡）； 3. **调试/简单逻辑？`iterrows()` 更直观**； 4. **修改原数据？永远用 `df.loc[idx, col] = value`**，而非修改 `row`； 5. **大数据量？考虑 `dask` 或 `polars` 替代**。 ---