## 1. 为什么你需要这个脚本？从“凌乱”到“有序”的救星 如果你正在Windows上折腾ImageNet2012数据集，尤其是那个验证集，我猜你八成已经对着那5万张“一锅粥”的图片发过愁了。没错，官方下载解压后，训练集（train）规规矩矩地分好了1000个类别文件夹，每个类别里放着对应的图片，用起来很舒服。但验证集（val）就完全是另一番景象了：一个名为`ILSVRC2012_img_val`的文件夹里，5万张图片（比如`ILSVRC2012_val_00000001.JPEG`）毫无规律地堆在一起，没有任何子文件夹分类。这怎么用？无论是想直观地查看某个类别的验证图片，还是想跑一些需要按类别组织数据的评估脚本，第一步就卡住了。 网上流传的解决方案，十有八九会提到一个神秘的`.sh`文件（通常是`valprep.sh`）。这个脚本确实是Linux系统下的“官方”或社区解决方案，它能读取一个标签映射文件，然后用一系列`mv`命令把图片移动到对应的文件夹。但问题来了：第一，这个`.sh`文件在现在的很多资源包里根本找不到，可能已经丢失了；第二，也是更关键的，`.sh`是Linux/Unix的shell脚本，在Windows的CMD或PowerShell里没法直接运行。难道为了这个还得装个WSL或者虚拟机？太麻烦了。 所以，我当初就决定，不如自己动手，丰衣足食，写一个纯Python的脚本。好处显而易见：**跨平台**，只要装了Python，Windows、Mac、Linux都能跑；**透明可控**，每一步操作你都能看清楚，不怕脚本里有你不知道的“骚操作”；**灵活修改**，路径、逻辑都可以按你的需求调整。今天，我就把这个经过实战检验的脚本和配套的标签文件分享给你，让你在Windows下也能轻松搞定这个分类难题，整个过程清晰、直接，没有黑盒。 ## 2. 准备工作：兵马未动，粮草先行 在动手写代码之前，我们得把“战场”布置好。这里需要准备三样东西：原始数据、标签文件，以及一个清晰的文件夹规划。 **首先，找到你的ImageNet2012验证集数据。** 通常，你下载并解压后，会得到一个类似`ILSVRC2012_img_val`的文件夹，里面就是那5万张JPEG格式的验证图片。记住它的完整路径，比如我的放在`E:\datasets\ImageNet2012\ILSVRC2012_img_val`。**其次，是最关键的标签文件。** 这个文件建立了每张验证图片文件名与其所属类别文件夹名的映射关系。网上很多老帖子的链接都失效了，别担心，我已经准备好了这个`categories.txt`文件。你可以从我的GitHub仓库下载，或者我直接在这里说明它的内容格式：这个文件大约有5万行，每一行看起来有点像一条被注释掉的Linux命令，例如 `# mv ILSVRC2012_val_00000001.JPEG n01440764`。其中，`ILSVRC2012_val_00000001.JPEG`是图片文件名，`n01440764`就是它对应的类别文件夹名（与训练集文件夹同名）。我们的脚本就是要解析出这两个关键信息。 **最后，规划好输出目录。** 我们需要一个空文件夹，用来存放即将生成的1000个子文件夹。我建议你新建一个，比如叫`val_sorted`，路径可以是`E:\datasets\ImageNet2012\val_sorted`。这样，原始混乱的`ILSVRC2012_img_val`文件夹保持不变，我们所有操作都在新的`val_sorted`里进行，安全又整洁。 为了让你更清楚整个文件结构，我们来看一下： ``` E:\datasets\ImageNet2012\ ├── ILSVRC2012_img_val\ # 原始验证集，5万张图片堆在一起 │ ├── ILSVRC2012_val_00000001.JPEG │ ├── ILSVRC2012_val_00000002.JPEG │ └── ... ├── train\ # 训练集（已分好类，供参考） │ ├── n01440764\ │ ├── n01443537\ │ └── ... └── val_sorted\ # 待会脚本生成的分类后验证集（目前为空） ``` 准备好这些，我们就可以开始用代码“施展魔法”了。 ## 3. 第一步：创建1000个类别文件夹 分类的第一步，是先把“房子”（文件夹）盖好。我们需要在目标目录（比如刚才说的`val_sorted`）下，创建1000个以类别ID命名的空文件夹，例如`n01440764`， `n01443537`等等。这些文件夹名必须和训练集的一模一样，后续评估时才能正确对应。 那么，这1000个文件夹的名字从哪里来呢？最简单的方法是从训练集那里“抄”。但我们的脚本要追求一站式自动化，所以我们可以利用一个准备好的列表。我提供了一个`mkdir.txt`文件，里面就包含了这1000个类别ID，每行一个。你可以直接复制内容，在你的项目目录下新建一个同名的txt文件粘贴进去。 现在，来看创建文件夹的Python脚本。这个脚本非常短小精悍，它的任务就是读取这个列表，然后批量创建文件夹。 ```python import os # 初始化一个空列表，用来存放1000个文件夹名 files_name = [] # 【需要你修改】打开包含文件夹名列表的txt文件，使用绝对路径 list_file_path = r"E:\datasets\ImageNet2012\mkdir.txt" for line in open(list_file_path, "r"): # 假设文件每行就是纯文件夹名，直接去除换行符并添加到列表 folder_name = line.strip() if folder_name: # 避免空行 files_name.append(folder_name) # 打印检查一下开头、结尾和总数 print(f"第一个文件夹名: {files_name[0]}") print(f"最后一个文件夹名: {files_name[-1]}") print(f"总共需创建 {len(files_name)} 个文件夹") # 【需要你修改】这是你要创建1000个文件夹的目标根目录 target_root_dir = r"E:\datasets\ImageNet2012\val_sorted" # 循环列表，逐个创建文件夹 for folder_name in files_name: # 拼接完整的目标文件夹路径 target_dir = os.path.join(target_root_dir, folder_name) # 使用os.makedirs创建，exist_ok=True表示如果文件夹已存在也不会报错 os.makedirs(target_dir, exist_ok=True) # 可以打印进度，但创建文件夹很快，也可以不打印 # print(f"创建文件夹: {target_dir}") print("所有类别文件夹创建完成！") ``` 把上面代码中两个标注了`【需要你修改】`的路径换成你自己的实际路径，然后运行这个脚本。几乎是一瞬间，你的`val_sorted`文件夹下就会整齐地出现1000个空文件夹。这一步是后面分类操作的基础，确保每个图片都有“家”可归。 ## 4. 第二步：解析标签，移动图片（核心步骤） 文件夹建好了，现在到了最核心的一步：把5万张图片，根据`categories.txt`标签文件的指示，一张一张地“请”进对应的文件夹。这个过程就像是给每张图片找到了它唯一的“身份证”和“住址”。 我们先深入理解一下`categories.txt`的格式。它原本可能是为Linux的`valprep.sh`脚本设计的，所以每一行都像是一条被注释掉的移动命令。例如： `# mv ILSVRC2012_val_00000001.JPEG n01440764` 我们的Python脚本需要巧妙地解析每一行，提取出两个核心信息：**图片文件名**（`ILSVRC2012_val_00000001.JPEG`）和**目标文件夹名**（`n01440764`）。注意，行首可能有空格，`#`和`mv`之间也有空格，我们需要稳定的字符串切片或者正则表达式来获取。 接下来是图片的“移动”。在Python中，我们通常不直接使用操作系统级的“移动”命令，而是采用“读取-保存”或“复制-删除”的策略。考虑到数据安全（防止误操作丢失原图），我推荐使用“读取-保存”到新位置的方式。这样，原始验证集文件夹始终保持不变，我们是在新的`val_sorted`目录下构建了一个分类好的副本。虽然这会占用额外的磁盘空间（又是一份5万张图片），但换来了绝对的数据安全，对于重要的数据集来说非常值得。 下面就是完整的分类脚本，我加了详细的注释，你可以跟着一步步看。 ```python import os from PIL import Image # 用于图片操作，确保已安装Pillow库 # 第一部分：解析标签文件，建立映射关系 mapping_list = [] # 用来存放（图片文件名， 目标文件夹名）这个元组的列表 # 【需要你修改】categories.txt标签文件的路径 label_file_path = r"E:\datasets\ImageNet2012\categories.txt" print("开始解析标签文件...") with open(label_file_path, 'r') as f: for line in f: line = line.strip() # 去掉首尾空白字符（包括换行符） if not line or not line.startswith('#'): # 跳过空行或不是以#开头的行（虽然理论上都是#开头） continue # 关键解析步骤：找到‘# mv ’之后的第一个空格分隔的部分是文件名，再之后是文件夹名 # 例如: ‘# mv ILSVRC2012_val_00000001.JPEG n01440764’ # 去掉‘# mv ’，得到‘ILSVRC2012_val_00000001.JPEG n01440764’ command_body = line[4:].strip() # 去掉‘# mv’ # 现在command_body是‘ILSVRC2012_val_00000001.JPEG n01440764’ # 我们按空格分割，第一部分是文件名，第二部分是文件夹名 parts = command_body.split() if len(parts) >= 2: image_filename = parts[0] target_folder = parts[1] mapping_list.append((image_filename, target_folder)) else: print(f"警告：无法解析行: {line}") print(f"标签文件解析完成，共 {len(mapping_list)} 条映射关系。") # 第二部分：根据映射关系，将图片分类保存到对应文件夹 # 【需要你修改】原始验证集图片所在的文件夹路径 source_val_dir = r"E:\datasets\ImageNet2012\ILSVRC2012_img_val" # 【需要你修改】上一步创建好的1000个文件夹的根目录 target_root_dir = r"E:\datasets\ImageNet2012\val_sorted" print("开始分类并保存图片...") processed_count = 0 total_count = len(mapping_list) for idx, (image_filename, target_folder) in enumerate(mapping_list): # 每处理100张图片，打印一次进度，让你知道程序在跑 if idx % 100 == 0: print(f"处理进度: {idx}/{total_count}") # 构建原始图片的完整路径 source_image_path = os.path.join(source_val_dir, image_filename) # 构建目标文件夹的完整路径 target_folder_path = os.path.join(target_root_dir, target_folder) # 构建目标图片的完整保存路径（保存在目标文件夹下，文件名不变） target_image_path = os.path.join(target_folder_path, image_filename) # 检查源图片是否存在 if not os.path.exists(source_image_path): print(f"错误：源图片不存在 {source_image_path}，跳过。") continue try: # 使用PIL打开图片 with Image.open(source_image_path) as img: # 确保目标文件夹存在（虽然我们第一步创建了，但双重保险） os.makedirs(target_folder_path, exist_ok=True) # 将图片保存到目标路径。可以指定格式，如'JPEG'，或让PIL根据扩展名自动判断 img.save(target_image_path) processed_count += 1 except Exception as e: print(f"处理图片 {image_filename} 时发生错误: {e}") print("="*50) print(f"图片分类完成！") print(f"成功处理 {processed_count} 张图片。") print(f"分类后的数据位于: {target_root_dir}") print("="*50) ``` 这个脚本的运行时间会比较长，因为涉及5万次图片的读取和写入操作。在我的普通机械硬盘上测试，大概需要30到60分钟，具体取决于你的CPU和硬盘速度。耐心等待它跑完，期间你可以去喝杯咖啡。 ## 5. 验证结果与常见问题排查 脚本跑完后，千万别急着关掉窗口。首先，检查脚本最后打印的日志：“成功处理 XXXX 张图片”。理论上应该是50000张，或者非常接近这个数字（可能有个别图片损坏被跳过）。如果数字差得很多，比如只有几万，那说明中间可能出错了。 **如何手动验证分类结果呢？** 很简单，去`val_sorted`目录下随机抽查几个文件夹。第一，检查文件夹数量是不是1000个。第二，随机点开几个文件夹，比如`n01440764`，看看里面是不是有大约50张图片（因为5万张分到1000类，平均每类50张）。你可以再对比一下同名的训练集文件夹，虽然图片内容不同，但文件夹名字的对应关系应该是一致的。 在这个过程中，你可能会遇到一些典型问题，我这里给你列个排查清单： 1. **`FileNotFoundError` 或 源图片不存在**：这通常是因为`source_val_dir`（原始验证集路径）设置错了。请再次确认`ILSVRC2012_img_val`文件夹的路径是否正确，以及里面确实有`ILSVRC2012_val_00000001.JPEG`这样的文件。 2. **`ModuleNotFoundError: No module named 'PIL'`**：这说明你没有安装Pillow库，它是Python处理图片的事实标准。解决起来很简单，打开你的命令行（CMD或PowerShell），运行 `pip install Pillow` 即可。 3. **脚本运行到一半卡住或报内存错误**：虽然我们的脚本是处理一张保存一张，理论上不会占用大量内存。但如果你的图片特别大（ImageNet是缩放到短边256像素的，一般不会），或者同时开了太多大型软件，可能会有点压力。确保关闭不必要的程序。如果还是不行，可以在循环里每处理一张图片后调用`img.close()`，并在循环外使用`del img`，虽然上面代码的`with...as`语句已经能很好地自动管理资源了。 4. **分类后某个文件夹是空的**：这极有可能是`categories.txt`标签文件本身的问题，或者该类别对应的图片在原始验证集中确实不存在（损坏或丢失）。你可以回到原始的`categories.txt`文件，搜索那个文件夹名，看看它对应的是哪几张图片，再去原始验证集里核实一下。 5. **路径中的斜杠问题**：在Windows的Python字符串中，使用反斜杠`\`作为路径分隔符时，最好在字符串前加`r`（表示原始字符串），就像我代码里写的那样`r"E:\datasets\..."`，这样可以避免`\`被误认为是转义字符。或者，你也可以使用正斜杠`/`，Python在Windows上也能识别，例如`"E:/datasets/..."`。 ## 6. 性能优化与小技巧分享 如果你觉得等待30分钟太久了，或者未来需要处理更大的数据集，这里有几个优化思路和小技巧可以提升效率。 **首先，考虑使用文件复制而非读取-保存。** 我们的脚本用PIL打开图片再保存，这个过程包含了图片的解码和再编码（即使格式相同），这是最耗时的部分。对于纯粹的、不修改图片内容的分类任务，更高效的方法是使用Python的`shutil.copy2`函数。它直接复制文件的二进制内容，速度会快很多，并且能保留文件的元数据（如创建时间）。你只需要把脚本中`try`块内的部分改成这样： ```python import shutil ... try: os.makedirs(target_folder_path, exist_ok=True) shutil.copy2(source_image_path, target_image_path) processed_count += 1 except Exception as e: print(f"复制图片 {image_filename} 时发生错误: {e}") ``` 实测下来，使用`shutil.copy2`可以将总耗时缩短到10-20分钟，效率提升非常明显。这是我最推荐给纯粹分类场景的优化。 **其次，利用多进程加速（适合高阶用户）。** 如果你的CPU是多核的，可以尝试将5万张图片的任务分成多个进程并行处理。Python的`concurrent.futures`模块里的`ProcessPoolExecutor`可以很方便地实现。基本思路是把`mapping_list`分成几块，每个子进程处理一块。不过要注意，多进程编程会复杂一些，需要处理进程间通信和资源竞争（比如同时创建同一个文件夹），对于新手来说，如果数据量不是特别巨大，单进程配合`shutil.copy2`已经足够快了。 **最后，分享一个路径管理的小技巧。** 每次都修改脚本里的绝对路径挺麻烦的，也容易出错。你可以把脚本和`categories.txt`、`mkdir.txt`放在同一个项目目录下，然后使用相对路径。例如，假设你的目录结构是这样的： ``` your_project\ ├── sort_imagenet_val.py # 你的Python脚本 ├── categories.txt ├── mkdir.txt └── sorted_val\ # 分类输出目录（初始为空） ``` 那么，在脚本中，你可以用`os.path.dirname(__file__)`来获取脚本文件所在的目录，然后基于它来构建其他文件的路径，这样脚本的移植性就大大增强了。 ```python import os # 获取当前脚本所在的目录 script_dir = os.path.dirname(os.path.abspath(__file__)) # 构建其他文件的路径 label_file_path = os.path.join(script_dir, 'categories.txt') list_file_path = os.path.join(script_dir, 'mkdir.txt') target_root_dir = os.path.join(script_dir, 'sorted_val') # 原始验证集路径可能还在其他地方，这个可能还是需要绝对路径或另行配置 source_val_dir = r"E:\datasets\ImageNet2012\ILSVRC2012_img_val" ``` 这个脚本我前后在几个不同的项目和电脑上都跑过，也根据遇到的问题调整过好几次。最深的体会就是，处理这种大规模数据，**路径一定要准，操作一定要稳**。宁愿在前期多花点时间检查路径和备份数据，也比跑了一半出错从头再来要省事得多。现在，你的ImageNet2012验证集应该已经整整齐齐地分好类了，接下来无论是做模型测试、可视化分析，还是其他任何操作，都会方便得多。如果过程中还有什么疑问，不妨多看看脚本打印的日志，那是最好的调试信息。