## 1. PyTorch临时文件的默认行为与C盘空间危机 PyTorch本身不直接管理磁盘路径，但它深度依赖Python标准库的`tempfile`模块来创建临时目录、缓存文件和模型检查点中间产物。当你调用`torch.save()`保存模型、使用`torch.hub.load()`加载预训练权重、甚至运行`torch.compile()`进行图优化时，背后大量临时文件——比如`.pt`缓存、`.so`编译中间件、`__pycache__`生成物、分布式训练的共享内存映射文件——都会通过`tempfile.mkdtemp()`或`tempfile.NamedTemporaryFile()`自动落盘。而这些函数的根路径，由`tempfile.gettempdir()`统一提供，默认指向Windows系统的`%TEMP%`环境变量值，也就是C盘下的`C:\Users\用户名\AppData\Local\Temp`。这个目录不仅被PyTorch占用，还混杂着浏览器下载缓存、IDE日志、系统更新碎片，久而久之就变成一个“数字垃圾场”。我去年帮一位做医学影像分割的同学排查显存不足问题，结果发现他C盘只剩2GB可用空间，进Temp目录一看，光是`torch_extensions`编译残留的`build/`子目录就占了18GB，全是没清理的CUDA kernel对象文件。更隐蔽的是，某些第三方库（如`torchaudio`的预处理流水线、`timm`的模型自动下载机制）会悄悄调用`tempfile`创建临时解压路径，用户根本看不到调用栈，只看到C盘一天掉5GB空间。 这个问题不是偶然现象，而是设计使然：Python标准库为了兼容性，默认把临时路径绑定到系统盘，避免跨盘权限问题；PyTorch则选择“信任底层”，不做额外路径干预。结果就是新手在Jupyter里跑通第一个ResNet示例后，过两天发现电脑卡顿、杀毒软件报错、甚至无法启动Anaconda Navigator——全因C盘已满触发系统保护机制。实测下来，一个中等规模的Transformer微调任务（batch_size=32，序列长512），仅训练过程产生的临时检查点+梯度缓存+混合精度缩放状态，就能在Temp下堆积3~7GB数据，如果中途断电或强制终止进程，这些文件往往不会被自动清理，形成“僵尸临时文件”。 > 提示：不要指望Windows磁盘清理工具能彻底解决。它只能删掉标记为“可安全删除”的旧文件，而PyTorch生成的临时目录通常带有活跃句柄或特殊属性，清理工具会跳过它们。手动进Temp目录删？风险极高——你可能误删正在被其他程序使用的文件，导致Python崩溃或IDE异常退出。 ## 2. 修改tempfile.gettempdir()的底层原理与安全操作路径 修改`tempfile.py`文件之所以有效，是因为`gettempdir()`函数内部存在一个可覆盖的缓存机制。翻看CPython源码可知，该函数首次调用时会按顺序探测多个候选路径：先查`TMP`/`TEMP`/`TMPDIR`环境变量，再试`os.getcwd()`，最后fallback到系统默认路径。但关键在于，它的返回值会被缓存在模块级变量`_tempdir`中，后续调用直接返回缓存值，不再重复探测。因此，我们只需要在模块初始化早期，强制给`_tempdir`赋一个新值，就能一劳永逸地劫持所有下游调用。原始文章提到的159–185行位置，正是`gettempdir()`函数定义所在——它位于`Lib/tempfile.py`第162行左右（不同Python版本略有偏移），形如： ```python def gettempdir(): """Return the filename of a directory usable for temporary files.""" global _tempdir if _tempdir is None: _tempdir = _get_default_tempdir() return _tempdir ``` 这里`_get_default_tempdir()`才是真正的路径探测逻辑。我们不需要动它，只需在函数体开头插入一行赋值语句即可。但要注意：不能简单写`_tempdir = r"D:\temp"`，因为模块加载时`_tempdir`可能已被其他代码提前读取。最稳妥的做法是在`gettempdir()`函数第一行插入强制重置： ```python def gettempdir(): global _tempdir # 强制覆盖默认路径，避免依赖环境变量 _tempdir = r"D:\pytorch_temp" # ← 新增这一行 if _tempdir is None: _tempdir = _get_default_tempdir() return _tempdir ``` 操作前务必执行三步备份：① 复制整个`Lib`文件夹到桌面；② 用记事本另存为`tempfile_backup.py`；③ 在原文件顶部加注释说明修改日期和目的。我见过太多人因编辑器编码问题（如ANSI保存成UTF-8带BOM）导致Python解释器启动失败，所以建议用VS Code打开，编码选“UTF-8无BOM”，行尾符用LF（Unix风格）。修改后无需编译，重启Python解释器即可生效——因为`tempfile`是内置模块，每次启动都会重新加载。 ### 2.1 验证修改是否真正生效的实操方法 改完别急着跑模型，先用三行代码验证路径是否真的切换成功： ```python import tempfile print("当前temp路径:", tempfile.gettempdir()) print("是否在C盘:", tempfile.gettempdir().startswith("C:\\")) # 创建一个测试临时目录，观察实际落盘位置 test_dir = tempfile.mkdtemp() print("新建临时目录:", test_dir) ``` 正常输出应类似： ``` 当前temp路径: D:\pytorch_temp 是否在C盘: False 新建临时目录: D:\pytorch_temp\tmp8xkz9q2f ``` 如果第二行显示`True`，说明修改未生效，大概率是文件路径找错了（比如改了系统Python的`tempfile.py`而非Anaconda环境里的）、或者环境变量`PYTHONPATH`干扰了模块搜索路径。此时打开终端执行`python -c "import tempfile; print(tempfile.__file__)"`，确认打印出的路径确实指向你的Anaconda环境目录（如`D:\anaconda3\envs\pytorch\Lib\tempfile.py`）。曾有用户反馈改完没效果，最后发现他用的是Miniconda，`tempfile.py`实际在`Miniconda3\envs\your_env\Lib\`下，而非`Anaconda3`目录。 ### 2.2 自定义临时目录的创建与权限配置要点 目标路径`D:\pytorch_temp`不能是空目录，必须确保Python进程有完整读写权限。我推荐分四步初始化： 1. **手动创建目录**：在资源管理器中新建`D:\pytorch_temp`，不要用Python脚本创建（避免权限继承问题）； 2. **设置所有权**：右键目录→属性→安全→高级→更改所有者为当前用户，勾选“替换子容器和对象的所有者”； 3. **赋予完全控制权**：在安全选项卡中添加当前用户，勾选“完全控制”； 4. **禁用索引服务**：右键目录→属性→常规→取消勾选“允许索引此驱动器上文件的内容”，防止Windows Search后台扫描拖慢I/O。 为什么强调权限？因为PyTorch的`torch.compile()`在生成Triton内核时，需要动态写入`.cu`文件并调用`nvcc`编译，若目录权限不足，会静默失败并回退到解释模式，导致训练速度骤降却找不到原因。我同事曾因此浪费两天调试时间，最终发现是`D:\temp`目录被公司组策略限制了写入。 ## 3. 替代方案对比：环境变量法、代码注入法与配置文件法 硬改`tempfile.py`虽直接，但存在升级风险——下次`conda update python`可能覆盖你的修改。因此必须掌握三种更优雅的替代方案，按优先级排序： ### 3.1 环境变量法：零侵入，推荐首选 Windows系统允许通过环境变量覆盖`tempfile`行为。在Anaconda Prompt中执行： ```bash set TMP=D:\pytorch_temp set TEMP=D:\pytorch_temp set TMPDIR=D:\pytorch_temp ``` 然后启动Python。为永久生效，需在系统属性→高级→环境变量中，将这三个变量新增到“用户变量”里，值设为`D:\pytorch_temp`。注意：必须同时设置`TMP`和`TEMP`，因为不同Windows版本偏好不同；`TMPDIR`则是Unix习惯的兼容项。此法优势在于完全不碰源码，且对所有Python进程生效（包括Jupyter、VS Code Python终端、PyCharm）。但有个隐藏坑：某些IDE（如老版本PyCharm）会在启动时固化环境变量快照，修改后需重启IDE才能识别。验证方式同前，执行`print(tempfile.gettempdir())`即可。 ### 3.2 代码注入法：精准控制，适合项目隔离 如果你只希望某个特定项目避开C盘，可在项目入口文件（如`train.py`）最顶端插入： ```python import tempfile import os # 强制重置tempfile模块的缓存 tempfile.tempdir = r"D:\pytorch_temp" # 同时设置环境变量，确保子进程也继承 os.environ["TMP"] = r"D:\pytorch_temp" os.environ["TEMP"] = r"D:\pytorch_temp" # 验证 print("项目级temp路径:", tempfile.gettempdir()) ``` 这种方法的好处是颗粒度细——A项目用D盘，B项目用E盘，互不干扰。缺点是每个Python脚本都得加这几行，容易遗漏。进阶用法是封装成`setup_temp.py`，在`__init__.py`中自动导入，但要注意导入时机必须早于任何调用`tempfile`的库（如`torch`）。 ### 3.3 配置文件法：Conda环境级统一管理 对于团队协作场景，推荐用Conda的`activate.d`机制。在你的环境目录下（如`D:\anaconda3\envs\pytorch\etc\conda\activate.d\`）新建`set_temp.bat`： ```bat @echo off set TMP=D:\pytorch_temp set TEMP=D:\pytorch_temp echo [INFO] PyTorch temp path set to D:\pytorch_temp ``` 再建`deactivate.d\unset_temp.bat`用于环境退出时恢复。这样每次`conda activate pytorch`，系统自动设置变量；`conda deactivate`则自动清理。实测在多环境切换时稳定性极佳，且无需修改任何Python文件。 | 方案 | 优点 | 缺点 | 适用场景 | |------|------|------|----------| | 修改tempfile.py | 效果彻底，一劳永逸 | 升级易丢失，需手动备份 | 个人单环境，追求简单 | | 环境变量法 | 零侵入，全局生效 | IDE需重启，部分工具链不识别 | 日常开发主力方案 | | 代码注入法 | 项目隔离，灵活可控 | 需每脚本添加，易遗漏 | 多项目混用，快速验证 | | Conda配置法 | 环境级管理，自动启停 | 路径较深，新手难定位 | 团队部署，标准化运维 | ## 4. 清理历史垃圾与建立长效防护机制 即使改了临时路径，C盘里已有的“数字垃圾”仍需手动清理，否则空间不会自动释放。我整理了一套经过20+次实战验证的清理流程： ### 4.1 安全清理C盘Temp目录的步骤清单 1. **关闭所有Python相关进程**：任务管理器中结束`python.exe`、`jupyter-notebook.exe`、`code.exe`（VS Code）等，避免文件被占用； 2. **进入`C:\Users\用户名\AppData\Local\Temp`**，按修改日期排序，删除所有**超过7天**的文件夹（如`torch_extensions_*`、`pip-install-*`）； 3. **重点清理PyTorch专属目录**：搜索`*torch*`，删除`torch_extensions`、`torch_compile_cache`、`torch_hub`等文件夹； 4. **清空回收站**：右键回收站→清空，这步常被忽略，但能立即释放数GB； 5. **用Disk Cleanup工具深度扫描**：右键C盘→属性→磁盘清理→“清理系统文件”，勾选“Windows更新清理”和“临时文件”。 > 注意：不要用第三方“清理大师”类软件！它们常误删PyTorch的`site-packages`缓存，导致`import torch`报错。坚持手动清理，宁可慢一点，也要确保安全。 ### 4.2 建立自动化防护脚本 为防止未来再爆满，我在`D:\pytorch_temp`下放了一个`cleanup.bat`，每天定时执行： ```bat @echo off :: 删除7天前的临时文件 forfiles /p "D:\pytorch_temp" /s /d -7 /c "cmd /c if @isdir==FALSE del /f @path" :: 删除空目录 for /f "delims=" %%d in ('dir /s /b /ad ^| sort /r') do rd "%%d" 2>nul echo Cleanup completed at %date% %time% ``` 配合Windows任务计划程序，设置每天凌晨2点运行。此外，在训练脚本末尾加一段清理逻辑： ```python import shutil import os def cleanup_temp(): temp_dir = r"D:\pytorch_temp" if os.path.exists(temp_dir): # 只删训练生成的特定前缀目录 for item in os.listdir(temp_dir): if item.startswith("torch_compile_") or item.startswith("hub_download_"): shutil.rmtree(os.path.join(temp_dir, item), ignore_errors=True) # 在训练循环结束后调用 if __name__ == "__main__": train() cleanup_temp() # 主动清理，不依赖系统 ``` 这套组合拳下来，我负责维护的实验室服务器连续11个月没再出现C盘告警。关键不是某一次操作，而是把临时文件管理变成和写`requirements.txt`一样自然的工程习惯——毕竟，数据科学家的时间，不该浪费在给硬盘腾地方上。