## Transformer回归预测快速指南 本指南旨在通过三个核心步骤，帮助您快速掌握使用Transformer模型进行回归预测的基本流程。我们将结合具体的Matlab代码示例，让您能够快速上手。 ### **第一步：数据准备与预处理** 任何机器学习任务都始于数据。对于回归预测，我们需要将数据整理为模型可接受的格式。通常，数据应包含特征（输入）和标签（目标值）。 **核心操作**： 1. **数据读取**：从Excel、CSV等文件中加载数据。 2. **数据划分**：将数据集划分为训练集和测试集，用于模型训练和评估。 3. **数据标准化/归一化**：对特征数据进行缩放，以加速模型训练并提高稳定性。 **Matlab代码示例**： ```matlab % 步骤1：读取数据（假设数据保存在Excel文件中，最后一列为目标值）[ref_1] data = readtable('your_data.xlsx'); % 替换‘your_data.xlsx’为您的数据文件名[ref_1] % 步骤2：分离特征与标签 features = table2array(data(:, 1:end-1)); % 前N-1列为特征[ref_1] labels = table2array(data(:, end)); % 最后一列为标签（目标值）[ref_1] % 步骤3：划分训练集和测试集（例如，80%训练，20%测试） cv = cvpartition(size(features, 1), 'HoldOut', 0.2); idxTrain = training(cv); idxTest = test(cv); trainFeatures = features(idxTrain, :); trainLabels = labels(idxTrain, :); testFeatures = features(idxTest, :); testLabels = labels(idxTest, :); % 步骤4：数据标准化（Z-score标准化） [~, mu, sigma] = zscore(trainFeatures); trainFeaturesNorm = (trainFeatures - mu) ./ sigma; testFeaturesNorm = (testFeatures - mu) ./ sigma; ``` *关键说明*：这段代码完成了从文件读取到数据标准化的完整流程。`zscore`函数用于标准化，确保不同尺度的特征对模型有同等的影响力。 ### **第二步：构建与训练Transformer模型** Transformer模型的核心在于其自注意力机制，能够捕捉序列数据中长距离的依赖关系，非常适合时间序列回归预测任务[ref_3][ref_5]。 **模型架构要点**： * **输入层**：接收标准化后的特征序列。 * **Transformer编码器层**：这是模型的核心，包含多头自注意力机制和前馈神经网络，用于提取复杂的特征关系[ref_1]。 * **回归输出层**：将编码器输出的高维特征映射到最终的预测值（一个或多个）。 **Matlab代码示例**： ```matlab % 定义模型层 inputSize = size(trainFeaturesNorm, 2); % 输入特征维度 numHeads = 8; % 注意力头的数量 numEncoderLayers = 2; % Transformer编码器的层数 layers = [ sequenceInputLayer(inputSize) % 序列输入层，定义输入维度[ref_1] % Transformer编码器层[ref_1] % 参数说明：'128'为模型隐藏层维度，'numHeads'为注意力头数 transformerEncoderLayer(128, numHeads, 'NumEncoderLayers', numEncoderLayers) flattenLayer % 将多维输出展平为一维向量[ref_1] fullyConnectedLayer(50) % 全连接层，进行特征整合 reluLayer % 激活函数，引入非线性 fullyConnectedLayer(1) % 输出层，对应单个回归目标值[ref_1] regressionLayer % 回归任务输出层 ]; % 配置训练选项 options = trainingOptions('adam', ... % 使用Adam优化器[ref_1] 'MaxEpochs', 100, ... % 最大训练轮数 'MiniBatchSize', 32, ... % 批处理大小 'InitialLearnRate', 0.001, ... % 初始学习率[ref_1] 'ValidationData', {testFeaturesNorm', testLabels'}, ... % 验证集 'ValidationFrequency', 30, ... % 每30次迭代验证一次 'Verbose', false, ... 'Plots', 'training-progress'); % 显示训练进度图 % 训练模型 net = trainNetwork(trainFeaturesNorm', trainLabels', layers, options); % 注意输入数据需要转置以符合序列输入格式 ``` *关键说明*：`transformerEncoderLayer`是构建Transformer模型的关键函数。通过调整`numHeads`和`NumEncoderLayers`可以平衡模型容量与训练成本。训练过程会显示损失曲线，帮助判断模型是否过拟合或欠拟合。 ### **第三步：模型预测与效果评估** 模型训练完成后，我们需要在测试集上进行预测，并使用多种指标全面评估模型的性能。 **常用评估指标**： | 指标名称 | 计算公式 | 说明 | | :--- | :--- | :--- | | **均方误差 (MSE)** | <code>MSE = Σ(y_i - ŷ_i)² / n</code> | 预测值与真实值偏差平方的平均值，值越小越好。 | | **均方根误差 (RMSE)** | <code>RMSE = √MSE</code> | MSE的平方根，与目标值单位一致，更直观。 | | **平均绝对误差 (MAE)** | <code>MAE = Σ\|y_i - ŷ_i\| / n</code> | 绝对误差的平均值，对异常值不敏感。 | | **决定系数 (R²)** | <code>R² = 1 - (Σ(y_i - ŷ_i)² / Σ(y_i - ȳ)²)</code> | 表示模型对数据波动的解释能力，越接近1越好[ref_1]。 | **Matlab代码示例**： ```matlab % 使用训练好的模型进行预测 predictions = predict(net, testFeaturesNorm'); % 对测试集进行预测[ref_1] predictions = predictions'; % 将预测结果转置回原始维度 % 计算评估指标 mse = mean((testLabels - predictions).^2); % 计算均方误差 (MSE)[ref_1] rmse = sqrt(mse); % 计算均方根误差 (RMSE) mae = mean(abs(testLabels - predictions)); % 计算平均绝对误差 (MAE)[ref_1] ss_res = sum((testLabels - predictions).^2); ss_tot = sum((testLabels - mean(testLabels)).^2); r2 = 1 - (ss_res / ss_tot); % 计算决定系数 (R²)[ref_1] % 打印评估结果 fprintf('模型评估结果：\n'); fprintf('均方误差 (MSE): %.4f\n', mse); fprintf('均方根误差 (RMSE): %.4f\n', rmse); fprintf('平均绝对误差 (MAE): %.4f\n', mae); fprintf('决定系数 (R²): %.4f\n', r2); % 可视化预测结果与真实值的对比 figure; plot(testLabels, 'b-o', 'LineWidth', 1.5, 'DisplayName', '真实值'); hold on; plot(predictions, 'r--s', 'LineWidth', 1.5, 'DisplayName', '预测值'); xlabel('样本序号'); ylabel('目标值'); title('Transformer回归预测结果对比'); legend('show'); grid on; ``` *关键说明*：可视化对比图是评估模型性能最直观的方式。理想的预测结果曲线应紧密围绕真实值曲线波动。R²指标尤为重要，它直接反映了模型拟合的优劣程度[ref_1]。 **总结与进阶**： 以上三步构成了Transformer回归预测的基础流程。对于更复杂的场景，如**多变量多输出预测**（同时预测多个相关变量）[ref_3][ref_4]，或处理具有强时序依赖的数据（如光伏发电功率），可以考虑使用**TCN-Transformer混合模型**[ref_2][ref_6]。TCN（时序卷积网络）能有效捕捉局部时序模式，与擅长长程依赖的Transformer结合，可进一步提升预测精度和稳定性[ref_2]。您只需调整最终的全连接层输出维度（例如`fullyConnectedLayer(3)`用于预测3个变量），并可能引入更复杂的数据预处理（如滑动窗口构建序列），即可将本基础框架扩展到这些高级应用。