### 使用纯Python实现类似于PyTorch `datasets.MNIST` 的功能 为了实现类似 PyTorch 中 `torchvision.datasets.MNIST` 功能的纯 Python 实现，可以按照以下方式完成数据下载、解压、读取和预处理的任务。 #### 1. 数据下载 可以通过标准库 `urllib.request` 和第三方库 `requests` 来下载 MNIST 数据集文件。MNIST 数据集通常以 `.gz` 文件形式提供，因此还需要使用 `gzip` 库来解压缩这些文件[^1]。 ```python import os import gzip import requests from urllib.request import urlretrieve # 定义MNIST数据集URL base_url = "http://yann.lecun.com/exdb/mnist/" files = [ "train-images-idx3-ubyte.gz", "train-labels-idx1-ubyte.gz", "t10k-images-idx3-ubyte.gz", "t10k-labels-idx1-ubyte.gz" ] def download_mnist(path="./mnist"): if not os.path.exists(path): os.makedirs(path) for file in files: url = base_url + file local_file = os.path.join(path, file) if not os.path.exists(local_file.replace(".gz", "")): print(f"Downloading {url}") urlretrieve(url, local_file) ``` --- #### 2. 解压与解析 MNIST 数据是以二进制格式存储的，需要通过特定的方式解析其头部信息和像素值。以下是具体的解析逻辑： - 图像文件前 16 字节为元数据（magic number, image count, rows, columns），之后每张图像占用固定字节数。 - 标签文件前 8 字节为元数据（magic number, label count），之后每个标签占一个字节。 ```python import struct def load_images(file_path): with gzip.open(file_path, 'rb') as f: _, num_images, rows, cols = struct.unpack(">IIII", f.read(16)) images = [] for _ in range(num_images): img = struct.unpack(">" + "B" * (rows * cols), f.read(rows * cols)) images.append([float(pixel) / 255.0 for pixel in img]) # 归一化到 [0, 1] return images def load_labels(file_path): with gzip.open(file_path, 'rb') as f: _, num_items = struct.unpack(">II", f.read(8)) labels = struct.unpack(">" + "B" * num_items, f.read()) return list(labels) ``` --- #### 3. 转换为可迭代的数据加载器 为了模拟 `DataLoader` 的行为，可以用生成器函数逐批返回数据。 ```python def create_dataloader(images, labels, batch_size=4, shuffle=True): indices = list(range(len(images))) if shuffle: import random random.shuffle(indices) for start_idx in range(0, len(images), batch_size): excerpt = indices[start_idx:start_idx + batch_size] yield ( [images[i] for i in excerpt], [labels[i] for i in excerpt] ) ``` --- #### 4. 测试代码 将以上组件组合起来，验证整个流程是否正常工作。 ```python if __name__ == "__main__": path = "./mnist" # 下载数据 download_mnist(path=path) # 加载训练集和测试集 train_images = load_images(os.path.join(path, "train-images-idx3-ubyte.gz")) train_labels = load_labels(os.path.join(path, "train-labels-idx1-ubyte.gz")) test_images = load_images(os.path.join(path, "t10k-images-idx3-ubyte.gz")) test_labels = load_labels(os.path.join(path, "t10k-labels-idx1-ubyte.gz")) # 创建数据加载器 dataloader = create_dataloader(train_images, train_labels, batch_size=4, shuffle=True) # 验证一批次数据 for batch_images, batch_labels in dataloader: print("Batch Images Shape:", len(batch_images), len(batch_images[0])) print("Batch Labels:", batch_labels) break ``` --- ### 总结 上述代码实现了从零构建一个完整的 MNIST 数据加载管道，涵盖了数据下载、解压、解析和批量加载等功能。虽然相比 PyTorch 提供的高度优化版本稍显冗长，但它完全基于纯 Python 编写，便于理解底层机制[^2]。 ---