### PyTorch 实现猫狗图像分类的数据加载 在使用 PyTorch 进行猫狗图像分类时，如果图片存储在同一文件夹下，则需要通过自定义 `Dataset` 类来处理标签分配问题。以下是具体实现方式： #### 自定义 Dataset 的设计 为了适应图片存放在同一个文件夹的情况，可以通过解析文件名的方式获取对应的类别标签。例如，假设文件名为 `cat.1.jpg` 或 `dog.2.jpg`，可以提取其中的关键字（如 `cat` 和 `dog`）作为标签。 以下是一个完整的自定义 `Dataset` 示例代码[^3]： ```python import os from torchvision import transforms from torch.utils.data import Dataset, DataLoader from PIL import Image class CatDogDataset(Dataset): def __init__(self, root_dir, transform=None): self.root_dir = root_dir self.transform = transform self.image_files = [f for f in os.listdir(root_dir) if f.endswith(('.jpg', '.png'))] def __len__(self): return len(self.image_files) def __getitem__(self, idx): img_name = os.path.join(self.root_dir, self.image_files[idx]) image = Image.open(img_name).convert('RGB') label_str = self.image_files[idx].split('.')[0] # 提取文件名前缀 if 'cat' in label_str.lower(): label = 0 elif 'dog' in label_str.lower(): label = 1 else: raise ValueError(f"Unknown label in file name {img_name}") if self.transform: image = self.transform(image) return image, label ``` #### 数据预处理与增强 为了提高模型性能，通常会对输入数据进行标准化和增广操作。以下是一组常见的图像变换配置： ```python data_transforms = { 'train': transforms.Compose([ transforms.RandomResizedCrop(224), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]), 'val': transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ]) } ``` #### 划分训练集、验证集和测试集 由于所有图片位于同一文件夹中，因此需要手动划分数据集。一种常见做法是按照一定比例随机分割数据列表。以下是一个简单的实现方案： ```python from sklearn.model_selection import train_test_split def split_dataset(file_list, test_size=0.2, val_size=0.2): train_val_files, test_files = train_test_split(file_list, test_size=test_size, random_state=42) train_files, val_files = train_test_split(train_val_files, test_size=val_size / (1 - test_size), random_state=42) return train_files, val_files, test_files file_list = dataset.image_files train_files, val_files, test_files = split_dataset(file_list) ``` 随后可以根据这些文件列表创建不同的子集实例并封装到 `DataLoader` 中： ```python train_dataset = CatDogDataset(root_dir='path_to_images', transform=data_transforms['train']) val_dataset = CatDogDataset(root_dir='path_to_images', transform=data_transforms['val']) train_loader = DataLoader(dataset=train_dataset, batch_size=32, shuffle=True, num_workers=4) val_loader = DataLoader(dataset=val_dataset, batch_size=32, shuffle=False, num_workers=4) ``` 以上实现了从原始数据加载到最终数据流的完整流程。 ---