### 使用 Python 3.10 和 PyTorch 的 T5-base 模型对 IMDB 数据集进行细粒度情感分析预训练 为了完成这一任务，可以按照以下方式构建解决方案。这涉及加载 IMDb 数据集、处理数据以便适配 T5 模型的输入格式以及定义微调过程。 #### 准备环境 首先需要安装必要的库，包括 `transformers` 和 `datasets` 库用于加载模型和数据集。 ```bash pip install transformers datasets torch scikit-learn ``` #### 加载 IMDb 数据集并预处理 IMDb 数据集可以通过 Hugging Face 的 `datasets` 库轻松获取。以下是加载和预处理数据的方法： ```python from datasets import load_dataset import pandas as pd # 加载 IMDb 数据集 dataset = load_dataset("imdb") # 将标签转换为适合 T5 输入的形式 ("positive" 或 "negative") def preprocess_function(examples): labels = ["positive" if label == 1 else "negative" for label in examples["label"]] inputs = [f"label: {text}" for text in examples["text"]] return {"input_text": inputs, "target_text": labels} preprocessed_data = dataset.map(preprocess_function, batched=True) train_df = pd.DataFrame({ "input_text": preprocessed_data['train']['input_text'], "target_text": preprocessed_data['train']['target_text'] }) test_df = pd.DataFrame({ "input_text": preprocessed_data['test']['input_text'], "target_text": preprocessed_data['test']['target_text'] }) ``` 上述代码将原始数据中的文本和标签重新格式化为 T5 所需的输入形式[^1]。 #### 初始化 T5 模型和分词器 接下来初始化 T5 基础模型及其对应的分词器。 ```python from transformers import T5Tokenizer, T5ForConditionalGeneration tokenizer = T5Tokenizer.from_pretrained("t5-base") model = T5ForConditionalGeneration.from_pretrained("t5-base") ``` #### 创建自定义 Dataset 类 为了更好地适应 PyTorch 训练流程，创建一个继承自 `torch.utils.data.Dataset` 的类。 ```python import torch from torch.utils.data import Dataset class SentimentDataset(Dataset): def __init__(self, dataframe, tokenizer, max_len=512): self.tokenizer = tokenizer self.data = dataframe self.input_texts = self.data.input_text.values self.target_texts = self.data.target_text.values self.max_len = max_len def __len__(self): return len(self.input_texts) def __getitem__(self, index): input_text = str(self.input_texts[index]) target_text = str(self.target_texts[index]) source_encoding = self.tokenizer( input_text, max_length=self.max_len, padding="max_length", truncation=True, return_tensors="pt" ) target_encoding = self.tokenizer( target_text, max_length=3, # Labels are short (e.g., 'positive' or 'negative') padding="max_length", truncation=True, return_tensors="pt" ) labels = target_encoding["input_ids"] labels[labels == self.tokenizer.pad_token_id] = -100 # Ignore pad tokens during loss computation return { "input_ids": source_encoding["input_ids"].flatten(), "attention_mask": source_encoding["attention_mask"].flatten(), "labels": labels.flatten() } ``` 此部分实现了数据编码逻辑，并确保目标序列中填充的部分不会影响损失计算。 #### 定义训练函数 最后一步是编写训练循环。 ```python from torch.optim import AdamW from tqdm.auto import tqdm device = torch.device('cuda') if torch.cuda.is_available() else torch.device('cpu') def train_model(model, dataloader, optimizer, device=device): model.to(device) model.train() total_loss = 0 progress_bar = tqdm(dataloader, desc="Training", leave=False) for batch in progress_bar: input_ids = batch["input_ids"].to(device) attention_mask = batch["attention_mask"].to(device) labels = batch["labels"].to(device) outputs = model(input_ids=input_ids, attention_mask=attention_mask, labels=labels) loss = outputs.loss total_loss += loss.item() optimizer.zero_grad() loss.backward() optimizer.step() progress_bar.set_postfix({"Loss": f"{loss.item():.4f}"}) avg_train_loss = total_loss / len(dataloader) return avg_train_loss ``` 通过以上代码完成了训练函数的设计。 #### 运行完整的训练流程 将所有组件组合在一起运行整个流程。 ```python from torch.utils.data import DataLoader BATCH_SIZE = 16 EPOCHS = 3 LEARNING_RATE = 3e-4 train_dataset = SentimentDataset(train_df, tokenizer) train_dataloader = DataLoader(train_dataset, batch_size=BATCH_SIZE, shuffle=True) optimizer = AdamW(model.parameters(), lr=LEARNING_RATE) for epoch in range(EPOCHS): print(f"\nEpoch {epoch + 1}/{EPOCHS}") avg_loss = train_model(model, train_dataloader, optimizer) print(f"Avg Loss: {avg_loss:.4f}") print("\nTraining completed.") ``` 这样就成功地利用 T5-base 对 IMDb 数据进行了细粒度的情感分类预训练。 ---