### 使用 Python 加载和获取 Dataset 数据的方法 在 PyTorch 中，`Dataset` 和 `DataLoader` 是两个核心组件，用于处理数据加载和批量读取的任务。以下是关于如何使用这两个工具来加载和获取数据的具体方法。 #### 1. 自定义 Dataset 类 为了自定义一个数据集，需要继承 `torch.utils.data.Dataset` 并实现其必需的方法： - **`__init__()`**: 初始化数据集的相关参数。 - **`__len__()`**: 返回数据集的长度。 - **`__getitem__(index)`**: 获取指定索引位置的数据样本。 下面是一个简单的例子，展示如何创建一个自定义的 Dataset[^1]: ```python import torch from torch.utils.data import Dataset class CustomDataset(Dataset): def __init__(self, data, labels): self.data = data self.labels = labels def __len__(self): return len(self.data) def __getitem__(self, index): sample = self.data[index] label = self.labels[index] return sample, label ``` #### 2. 创建 DataLoader 实例 通过 `DataLoader` 可以方便地将数据分批加载，并支持随机打乱、多线程加速等功能。以下是如何配置 `DataLoader` 的示例: ```python from torch.utils.data import DataLoader # 假设我们已经有一个自定义的 dataset 对象 custom_dataset = CustomDataset(data=[...], labels=[...]) dataloader = DataLoader( custom_dataset, batch_size=32, # 每批次加载多少条数据 shuffle=True, # 是否在每个 epoch 开始前打乱数据顺序 num_workers=4, # 使用多个子进程加载数据 (Linux/MacOS 支持较好) drop_last=False # 如果最后一批次不足 batch_size，则丢弃该批次 ) ``` #### 3. 遍历 DataLoader 来访问数据 一旦有了 `DataLoader`，就可以轻松遍历其中的数据。每次迭代都会返回一个批次的数据及其对应的标签。 ```python for batch_data, batch_labels in dataloader: # 批量数据 shape: [batch_size, ...] # 批量标签 shape: [batch_size] print(batch_data.shape, batch_labels.shape) ``` --- ### 关键点总结 - **Dataset** 提供了基础接口，允许开发者灵活定制自己的数据源[^2]。 - **DataLoader** 则进一步封装了数据流逻辑，使得训练过程更加高效稳定[^3]。 - 在实际应用中，通常会结合两者一起工作，从而简化复杂数据管道的设计与管理。