Python 提供了多种模块和方法来遍历目录，每种方法各有其特点和适用场景。以下将详细解析并对比 `os` 模块、`pathlib` 模块和 `glob` 模块的实现方式，并结合性能考量给出最佳实践建议 [ref_1]。 ### 1. 使用 `os` 模块遍历目录 `os` 模块是 Python 进行文件系统操作的传统核心模块，提供了多种目录遍历函数 [ref_1]。 #### 方法一：`os.listdir()` 结合递归 此方法先列出当前目录下的所有条目，然后通过递归遍历子目录。 ```python import os def traverse_with_listdir(root_dir): """ 使用 os.listdir() 递归遍历目录 """ for item in os.listdir(root_dir): item_path = os.path.join(root_dir, item) if os.path.isdir(item_path): # 如果是目录，递归遍历 traverse_with_listdir(item_path) else: # 如果是文件，进行处理 print(f"文件: {item_path}") ``` **特点**： * **手动递归**：需要自行编写递归逻辑来判断目录和文件 [ref_2]。 * **灵活性高**：可以完全控制遍历流程，方便在递归前后添加自定义逻辑。 * **基础方法**：是理解目录遍历原理的基础。 #### 方法二：`os.walk()` `os.walk()` 是 `os` 模块提供的生成器函数，专门用于目录树遍历，能直接生成当前目录路径、子目录列表和文件列表的三元组 [ref_2]。 ```python import os def traverse_with_walk(root_dir): """ 使用 os.walk() 遍历目录 """ for root, dirs, files in os.walk(root_dir): # root: 当前目录路径 # dirs: 当前目录下的子目录名列表 # files: 当前目录下的文件名列表 for file in files: file_path = os.path.join(root, file) print(f"文件: {file_path}") # 如果需要，也可以处理 dirs 中的目录 ``` **特点**： * **开箱即用**：自动处理递归，返回结构化的三元组信息，使用非常方便 [ref_2]。 * **性能较好**：作为内置的C语言实现，遍历大型目录树时效率较高 [ref_1]。 * **跨平台**：自动处理不同操作系统的路径分隔符问题。 ### 2. 使用 `pathlib` 模块遍历目录 (Python 3.4+) `pathlib` 提供了面向对象的路径操作方式，代码更现代、易读 [ref_1]。 #### 方法一：`Path.rglob()` 或 `Path.glob('**/*')` `Path.rglob(pattern)` 可以递归地匹配所有符合模式的文件和目录。 ```python from pathlib import Path def traverse_with_pathlib_rglob(root_dir): """ 使用 pathlib.Path.rglob() 递归遍历所有文件和目录 """ root_path = Path(root_dir) # 遍历所有条目 for item in root_path.rglob('*'): if item.is_file(): print(f"文件: {item}") # 如果需要处理目录，可以添加 else 分支 ``` #### 方法二：`Path.iterdir()` 结合递归 类似于 `os.listdir()` 的面向对象版本。 ```python from pathlib import Path def traverse_with_pathlib_iterdir(root_dir): """ 使用 Path.iterdir() 递归遍历 """ root_path = Path(root_dir) for item in root_path.iterdir(): if item.is_dir(): traverse_with_pathlib_iterdir(item) else: print(f"文件: {item}") ``` **特点**： * **面向对象**：路径被封装为 `Path` 对象，方法链式调用更优雅 [ref_1]。 * **易读性强**：方法名（如 `is_file()`, `is_dir()`）语义清晰。 * **路径处理安全**：减少了字符串拼接路径可能带来的错误。 ### 3. 使用 `glob` 模块遍历目录 `glob` 模块主要用于根据通配符模式查找文件路径，它也支持递归遍历 [ref_1]。 ```python import glob def traverse_with_glob(root_dir): """ 使用 glob.glob() 进行递归遍历 """ # '**' 表示递归所有子目录，recursive=True 必须启用 pattern = os.path.join(root_dir, '**', '*') for item_path in glob.glob(pattern, recursive=True): if os.path.isfile(item_path): print(f"文件: {item_path}") ``` **特点**： * **模式匹配强大**：天然支持通配符（`*`, `?`, `[]`），适合需要模式过滤的场景 [ref_1]。 * **接口简洁**：一行代码即可获取所有匹配文件的路径列表。 ### 4. 方法对比与选择建议 下表从多个维度对比了上述主要方法： | 特性维度 | `os.listdir()` + 递归 | `os.walk()` | `pathlib.Path.rglob()` | `glob.glob(recursive=True)` | | :--- | :--- | :--- | :--- | :--- | | **递归性** | 需手动实现递归 | 自动递归，返回三元组 | 自动递归（使用 `**`） | 自动递归（需 `recursive=True`） | | **路径对象** | 返回字符串路径 | 返回字符串路径 | 返回 `Path` 对象 | 返回字符串路径 | | **模式匹配** | 无，需自行过滤 | 无，需自行过滤 | 支持通配符模式 | **强项**：支持通配符模式 | | **代码风格** | 传统，过程式 | 传统，过程式 | **现代，面向对象** | 函数式，简洁 | | **易读性** | 一般 | 较好 | **好** | 好 | | **性能** | 较好（纯Python递归） | **好**（C实现） | 较好 | 一般（需构造列表） | | **主要适用场景** | 需要精细控制递归逻辑 | **通用的目录树遍历** | 现代代码，面向对象操作 | **需要通配符过滤的查找** | **性能补充说明**：在 I/O 密集型的目录遍历任务中，语言本身（如 Python、Node.js、C）的异步机制和底层实现会影响性能。例如，在极端性能敏感场景下，C 语言凭借其更接近硬件的特性通常最快，而 Node.js 的异步 I/O 在某些情况下可能优于 Python 的同步遍历 [ref_5]。但在绝大多数 Python 应用场景下，`os.walk()` 因其 C 语言实现而具有不错的性能表现 [ref_1]。 ### 5. 进阶技巧与场景示例 #### 场景一：遍历时排除特定文件或目录 在比较或同步目录时，常需要忽略如 `.git`、`__pycache__` 或 `*.tmp` 等文件 [ref_3]。 ```python import os from pathlib import Path def traverse_and_exclude(root_dir, exclude_dirs=None, exclude_exts=None): """ 遍历目录，排除指定的目录和文件扩展名 """ if exclude_dirs is None: exclude_dirs = {'.git', '__pycache__', '.idea'} if exclude_exts is None: exclude_exts = {'.tmp', '.log'} for root, dirs, files in os.walk(root_dir): # 修改 in-place 以排除特定目录 dirs[:] = [d for d in dirs if d not in exclude_dirs] for file in files: if any(file.endswith(ext) for ext in exclude_exts): continue file_path = Path(root) / file # 处理文件 print(f"处理: {file_path}") ``` #### 场景二：与 `pandas` 结合处理结构化数据 虽然 `pandas` 主要用于处理表格数据（如遍历 `DataFrame` 行 [ref_4]），但目录遍历的结果可以方便地导入 `pandas` 进行分析。 ```python import os import pandas as pd from datetime import datetime def get_file_info_df(root_dir): """ 遍历目录，收集文件信息并存入DataFrame """ records = [] for root, dirs, files in os.walk(root_dir): for file in files: file_path = os.path.join(root, file) stat = os.stat(file_path) records.append({ 'path': file_path, 'size': stat.st_size, 'modified': datetime.fromtimestamp(stat.st_mtime), 'extension': os.path.splitext(file)[1] }) df = pd.DataFrame(records) return df # 使用示例 file_df = get_file_info_df('/some/directory') print(file_df.head()) # 可以进行数据分析，例如按扩展名统计大小 size_by_ext = file_df.groupby('extension')['size'].sum() ``` #### 场景三：高性能大文件遍历与比较 当目录中包含大量或超大文件时，直接读取内容比较可能内存不足。此时可采用分块读取或哈希比较策略 [ref_3]。 ```python import os import hashlib def get_file_hash(file_path, block_size=65536): """计算大文件的MD5哈希，避免一次性加载""" hasher = hashlib.md5() with open(file_path, 'rb') as f: buf = f.read(block_size) while len(buf) > 0: hasher.update(buf) buf = f.read(block_size) return hasher.hexdigest() def compare_dirs_by_hash(dir1, dir2): """ 通过比较文件哈希值来判断两个目录内容是否相同 """ files1 = {os.path.relpath(p, dir1): get_file_hash(p) for p in Path(dir1).rglob('*') if p.is_file()} files2 = {os.path.relpath(p, dir2): get_file_hash(p) for p in Path(dir2).rglob('*') if p.is_file()} return files1 == files2 ``` **总结与建议**： 1. **通用需求首选 `os.walk()`**：对于大多数需要遍历目录树并处理文件的场景，`os.walk()` 因其性能、易用性和跨平台性是最稳妥、最常用的选择 [ref_1][ref_2]。 2. **现代代码风格用 `pathlib`**：在新项目或追求代码简洁性、可读性时，优先使用 `pathlib`，它的面向对象接口更安全、表达更清晰 [ref_1]。 3. **模式匹配用 `glob`**：当遍历的目的是为了查找符合特定通配符模式（如 `*.txt`, `data_??.csv`）的文件时，`glob` 模块最为直接 [ref_1]。 4. **精细控制用 `os.listdir()`**：当遍历逻辑非常复杂，需要在递归的不同层级进行差异化操作时，手动递归的 `os.listdir()` 提供了最大的灵活性。 5. **注意性能与内存**：遍历超大型目录或处理大量文件时，考虑使用生成器（如 `os.walk` 本身就是生成器）避免一次性加载所有路径到内存。对于文件内容比较，使用哈希或分块比较来优化 [ref_3]。