Python 的 `subprocess` 模块是用于创建和管理子进程的核心工具，它旨在取代旧的 `os.system`、`os.spawn*` 等函数，提供更强大、更安全的进程交互能力[ref_2][ref_3][ref_4]。其核心功能包括执行外部命令、捕获输入/输出、处理错误、设置超时以及进行进程间通信[ref_4]。 ### 一、 核心接口：`run()` 与 `Popen` `subprocess` 模块主要提供两类接口：便捷的 `run()` 函数和底层的 `Popen` 类。 | 特性/接口 | `subprocess.run()` | `subprocess.Popen` | | :--- | :--- | :--- | | **定位** | 高级接口，适用于大多数简单场景 | 底层接口，提供完全控制权 | | **执行模式** | 同步阻塞，直到子进程结束 | 异步非阻塞，可后台运行 | | **返回值** | `CompletedProcess` 对象 | `Popen` 对象实例 | | **适用场景** | 执行命令并立即获取结果 | 需要交互、实时读取输出、后台进程管理 | ### 二、 使用 `subprocess.run()` 执行命令 `subprocess.run()` 是 Python 3.5 引入的推荐方法，它执行命令，等待完成，然后返回一个包含结果的 `CompletedProcess` 对象[ref_1][ref_2]。 #### 1. 基本用法：执行命令并获取返回码 ```python import subprocess # 执行一个简单的命令，如 `ls -l` result = subprocess.run(["ls", "-l"]) print(f"命令返回码: {result.returncode}") ``` 默认情况下，子进程的输出（`stdout`和`stderr`）会直接打印到控制台。`returncode` 为 0 通常表示成功[ref_1]。 #### 2. 捕获命令输出 通过 `stdout=subprocess.PIPE` 参数可以捕获标准输出。 ```python import subprocess # 捕获标准输出到变量 result = subprocess.run(["echo", "Hello, Subprocess!"], stdout=subprocess.PIPE, text=True) print(f"捕获的输出: {result.stdout}") # 输出: Hello, Subprocess!\n ``` * `stdout=subprocess.PIPE`：指示 `run()` 捕获标准输出[ref_1]。 * `text=True`（或 `universal_newlines=True`）：让输入/输出以字符串形式处理，而非字节[ref_1][ref_2]。 #### 3. 同时捕获标准输出和错误输出 ```python import subprocess # 执行一个可能失败的命令，并捕获所有输出 result = subprocess.run(["ls", "non_existent_file.txt"], stdout=subprocess.PIPE, stderr=subprocess.PIPE, text=True) print(f"标准输出: {result.stdout}") print(f"错误输出: {result.stderr}") print(f"返回码: {result.returncode}") ``` #### 4. 检查命令是否成功 & 超时控制 使用 `check=True` 参数可以在命令返回非零状态码时自动抛出 `CalledProcessError` 异常。`timeout` 参数可以设置命令执行的超时时间（秒）[ref_1][ref_2]。 ```python import subprocess import time try: # 设置命令超时时间为2秒 result = subprocess.run(["sleep", "5"], timeout=2, check=True) except subprocess.TimeoutExpired: print("命令执行超时！") except subprocess.CalledProcessError as e: print(f"命令执行失败，返回码: {e.returncode}") ``` ### 三、 使用 `subprocess.Popen` 进行高级控制 当需要与子进程进行实时交互、管理后台进程或构建管道时，需要使用 `Popen` 类[ref_1][ref_3]。 #### 1. 基本实例化与等待 ```python import subprocess # 启动一个子进程，例如启动一个Python简单HTTP服务器 proc = subprocess.Popen(["python3", "-m", "http.server", "8080"]) print(f"子进程PID: {proc.pid}") # 等待进程结束（阻塞） # proc.wait() ``` #### 2. 实时读取输出（非阻塞） `Popen` 允许你启动进程后，不立即等待其结束，而是可以轮询或读取其输出[ref_3]。 ```python import subprocess import time # 启动一个持续输出的进程 proc = subprocess.Popen(["ping", "-c", "4", "127.0.0.1"], stdout=subprocess.PIPE, text=True) # 非阻塞地读取输出 while True: output = proc.stdout.readline() if output == '' and proc.poll() is not None: break if output: print(output.strip()) time.sleep(0.1) # 避免CPU空转 ``` * `proc.poll()`：检查进程是否已终止，如果未终止则返回 `None`，否则返回退出码[ref_1]。 * `proc.stdout.readline()`：读取一行输出。 #### 3. 向子进程输入数据（交互） 通过 `stdin=subprocess.PIPE` 可以向子进程的标准输入发送数据[ref_1][ref_3]。 ```python import subprocess # 启动一个接受输入的命令，如 `grep` proc = subprocess.Popen(["grep", "python"], stdin=subprocess.PIPE, stdout=subprocess.PIPE, text=True) # 向子进程发送输入数据，并关闭输入流以通知结束 stdout, stderr = proc.communicate(input="java is good\npython is better\nruby is ok\n") print(f"过滤后的输出:\n{stdout}") ``` `communicate()` 方法会发送输入数据，然后等待子进程结束并收集所有输出[ref_1]。**注意**：对于需要持续交互的场景，`communicate()` 可能不适用，因为它会等待进程结束。 #### 4. 构建命令管道 `Popen` 可以轻松地将多个命令通过管道连接起来[ref_2]。 ```python import subprocess # 模拟 shell 命令: `ps aux | grep python | head -5` ps_proc = subprocess.Popen(["ps", "aux"], stdout=subprocess.PIPE) grep_proc = subprocess.Popen(["grep", "python"], stdin=ps_proc.stdout, stdout=subprocess.PIPE) head_proc = subprocess.Popen(["head", "-5"], stdin=grep_proc.stdout, stdout=subprocess.PIPE, text=True) ps_proc.stdout.close() # 允许 ps_proc 接收 SIGPIPE 信号 grep_proc.stdout.close() output = head_proc.communicate()[0] print(output) ``` ### 四、 关键参数详解与安全实践 #### 1. `shell` 参数：谨慎使用 * `shell=False`（默认）：命令以列表形式传入，更安全，能有效防止 Shell 注入攻击[ref_2][ref_3]。 ```python # 安全做法 subprocess.run(["echo", "$USER"]) # 输出字面值 `$USER` ``` * `shell=True`：命令以单个字符串形式传入，由系统 shell 解释。这带来了便利，但也引入了巨大的安全风险[ref_2][ref_3]。 ```python # 危险做法：如果 user_input 来自不可信来源，可能执行恶意命令 user_input = "some_file; rm -rf /" subprocess.run(f"cat {user_input}", shell=True) # 存在注入风险！ ``` **最佳实践**：除非必要（如需要 shell 特性如通配符、管道、变量扩展），否则永远使用 `shell=False` 并将命令参数化为列表[ref_3][ref_4]。 #### 2. 其他常用参数 * `cwd`：设置子进程的工作目录[ref_3]。 ```python subprocess.run(["ls"], cwd="/tmp") ``` * `env`：为子进程设置环境变量[ref_3]。 ```python new_env = {**os.environ, "MY_VAR": "my_value"} subprocess.run(["env"], env=new_env) ``` * `encoding` / `errors`：指定输入输出的编码和错误处理方式[ref_2]。 ### 五、 应用场景示例 1. **系统管理与自动化**：批量执行系统命令，如文件操作、服务启停[ref_4]。 ```python # 备份目录 subprocess.run(["tar", "-czf", "backup.tar.gz", "/path/to/dir"]) ``` 2. **调用外部工具**：集成非 Python 编写的工具或命令行程序[ref_4]。 ```python # 调用 ImageMagick 转换图片 subprocess.run(["convert", "input.jpg", "-resize", "50%", "output.jpg"]) ``` 3. **数据处理管道**：将数据通过多个命令行工具（如 `grep`, `awk`, `sort`）进行预处理[ref_4]。 ```python # 使用管道处理日志 cat_proc = subprocess.Popen(["cat", "app.log"], stdout=subprocess.PIPE) grep_proc = subprocess.Popen(["grep", "ERROR"], stdin=cat_proc.stdout, stdout=subprocess.PIPE, text=True) errors = grep_proc.communicate()[0] ``` 4. **执行脚本**：运行其他语言的脚本（如 Shell, Perl）[ref_4]。 ```python subprocess.run(["/bin/bash", "deploy.sh"]) ``` ### 六、 错误处理与资源管理 * **异常处理**：务必处理 `subprocess.CalledProcessError`（当 `check=True` 且进程失败时）、`subprocess.TimeoutExpired` 以及 `FileNotFoundError`（当命令不存在时）[ref_2][ref_4]。 * **资源清理**：对于 `Popen` 对象，尤其是在使用管道时，确保正确关闭文件描述符并等待进程结束，以避免僵尸进程[ref_4]。使用 `try...finally` 或上下文管理器是良好实践。 ```python with subprocess.Popen(["long_running_task"], stdout=subprocess.PIPE) as proc: # 处理输出 output = proc.communicate()[0] # 退出 with 块后，进程会被正确等待和清理 ``` 通过掌握 `subprocess.run()` 的便捷性和 `Popen` 的灵活性，你可以在 Python 程序中安全、高效地与任何外部命令和进程进行交互。始终将安全性（避免 `shell=True`）和资源管理放在首位[ref_3][ref_4]。