### 使用 Lightning.PyTorch 的预处理逻辑最佳实践 在构建基于 PyTorch Lightning 的深度学习项目时，数据预处理是一个重要环节。为了保持代码结构清晰并遵循最佳实践，建议将预处理逻辑放在特定组件内。 #### 数据集定义中的预处理 对于简单的转换操作，可以在 `Dataset` 类内部实现。这通常涉及图像标准化、文本分词等基本变换： ```python from torch.utils.data import Dataset, DataLoader import torchvision.transforms as transforms class MNISTDataModule(pl.LightningDataModule): def __init__(self, data_dir='./', batch_size=32): super().__init__() self.data_dir = data_dir self.batch_size = batch_size transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,)) ]) def setup(self, stage=None): # Assign train/val datasets for use in dataloaders if stage == 'fit' or stage is None: mnist_full = MNIST(self.data_dir, train=True, download=True, transform=self.transform) self.mnist_train, self.mnist_val = random_split(mnist_full, [55000, 5000]) # Assign test dataset for use in dataloader(s) if stage == 'test' or stage is None: self.mnist_test = MNIST(self.data_dir, train=False, download=True, transform=self.transform) def train_dataloader(self): return DataLoader(self.mnist_train, batch_size=self.batch_size) def val_dataloader(self): return DataLoader(self.mnist_val, batch_size=self.batch_size) def test_dataloader(self): return DataLoader(self.mnist_test, batch_size=self.batch_size) ``` 此方法适用于大多数情况下的简单预处理需求[^1]。 #### 复杂预处理流程 当涉及到更复杂的预处理工作流（如 NLP 领域的文本清洗、特征工程等），推荐创建独立的数据模块来管理整个过程。这种方式不仅提高了可读性和维护性，还便于扩展和重用： ```python class TextClassificationDataModule(pl.LightningDataModule): def prepare_data(self): """Download and tokenize the corpus""" pass def setup(self, stage=None): """Split into training/validation sets after tokenization.""" pass def collate_fn(batch): """Customized batching logic here""" pass def train_dataloader(self): return DataLoader(... ,collate_fn=self.collate_fn) def val_dataloader(self): return DataLoader(... ,collate_fn=self.collate_fn) ``` 这种设计模式特别适合于需要自定义批处理函数 (`collate_fn`) 或者有特殊准备阶段的任务[^3]。