### PyTorch中使用Dataset进行批量数据加载与处理 在PyTorch中，`Dataset`和`DataLoader`是实现数据加载和预处理的核心工具。`Dataset`用于存储和访问数据样本及标签，而`DataLoader`则负责将数据以批量形式加载，并提供额外的功能如打乱数据、多线程加载等[^2]。 #### 1. 创建自定义Dataset类 为了使用`Dataset`，需要继承`torch.utils.data.Dataset`类并实现两个方法：`__len__()`和`__getitem__()`。`__len__()`返回数据集的大小，而`__getitem__()`用于根据索引获取单个数据样本及其标签。 以下是一个简单的自定义`Dataset`示例： ```python from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self, data, labels, transform=None): self.data = data self.labels = labels self.transform = transform def __len__(self): return len(self.data) def __getitem__(self, idx): sample = self.data[idx] label = self.labels[idx] if self.transform: sample = self.transform(sample) return sample, label ``` #### 2. 使用DataLoader进行批量加载 `DataLoader`通过包装`Dataset`对象，能够高效地将数据以批量形式加载。以下是创建`DataLoader`实例的基本代码： ```python from torch.utils.data import DataLoader # 假设已有一个CustomDataset实例 custom_dataset = CustomDataset(data, labels, transform=transform) # 创建DataLoader data_loader = DataLoader(custom_dataset, batch_size=32, shuffle=True, num_workers=4) ``` - `batch_size`: 每次迭代返回的数据样本数量。 - `shuffle`: 是否在每个epoch开始时打乱数据顺序。 - `num_workers`: 加载数据的子进程数，用于加速数据加载过程[^2]。 #### 3. 数据预处理 数据预处理通常通过`torchvision.transforms`模块完成。例如，可以将图像数据转换为张量并进行归一化处理： ```python import torchvision.transforms as transforms transform = transforms.Compose([ transforms.ToTensor(), # 将PIL图像或numpy数组转换为张量 transforms.Normalize((0.5,), (0.5,)) # 归一化处理 ]) ``` #### 4. 实际应用示例 以下是一个完整的数据加载与预处理示例，基于MNIST数据集： ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader # 定义数据变换 transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5,), (0.5,)) ]) # 下载并加载MNIST数据集 train_dataset = datasets.MNIST( root='./data', # 数据存储路径 train=True, # 训练集 download=True, # 如果数据不存在则下载 transform=transform # 应用的数据变换 ) test_dataset = datasets.MNIST( root='./data', train=False, # 测试集 download=True, transform=transform ) # 创建DataLoader train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False) ``` 上述代码展示了如何使用`torchvision.datasets`中的内置数据集类，并结合`DataLoader`实现批量加载与预处理[^5]。 ---