### ElasticNet 的原理 ElasticNet 是一种正则化方法，结合了 Lasso 和 Ridge 回归的优点。其目标函数由线性回归的目标函数加上两个正则项组成：L1 正则项和 L2 正则项。这种组合使得 ElasticNet 能够在特征选择的同时减少过拟合的风险。 具体来说，ElasticNet 的优化目标可以表示为： \[ \min_{w} \frac{1}{2n} ||Xw - y||_2^2 + \alpha \rho ||w||_1 + \frac{\alpha (1-\rho)}{2} ||w||_2^2 \] 其中 \( X \) 表示输入矩阵，\( w \) 表示权重向量，\( y \) 表示目标变量，\( n \) 表示样本数量，\( \alpha \geq 0 \) 控制整体正则化的强度，\( \rho \in [0, 1] \) 决定了 L1 和 L2 正则之间的权衡[^1]。 当 \( \rho = 1 \)，ElasticNet 就退化成 Lasso；当 \( \rho = 0 \)，就变成了 Ridge 回归。 --- ### 使用 Scikit-learn 实现 ElasticNet Scikit-learn 提供了 `ElasticNet` 类来实现该模型。以下是完整的代码示例，展示如何加载数据、训练模型并评估性能。 #### 数据准备 由于 Scikit-learn 自带的数据集通常不是 Pandas DataFrame 格式，因此需要将其转换为 Pandas DataFrame 方便后续操作[^4]。 ```python import pandas as pd from sklearn.datasets import load_boston from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.linear_model import ElasticNet from sklearn.metrics import mean_squared_error # 加载 Boston 房价数据集 boston_data = load_boston() data_df = pd.DataFrame(boston_data.data, columns=boston_data.feature_names) target_df = pd.Series(boston_data.target) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(data_df, target_df, test_size=0.2, random_state=42) # 特征标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) ``` #### 训练 ElasticNet 模型 下面展示了如何设置超参数 `\(\alpha\)` 和 `\(\rho\)` 并训练模型。 ```python # 初始化 ElasticNet 模型 elastic_net = ElasticNet(alpha=0.1, l1_ratio=0.5, max_iter=10000, tol=0.001, random_state=42) # 训练模型 elastic_net.fit(X_train_scaled, y_train) # 预测 y_pred = elastic_net.predict(X_test_scaled) # 性能评估 mse = mean_squared_error(y_test, y_pred) print(f"Mean Squared Error: {mse:.4f}") ``` 上述代码中，`\(\alpha\)` 设置为 0.1，`\(\rho\)`（即 `l1_ratio` 参数）设为 0.5，这表明我们在 L1 和 L2 正则之间进行了均衡处理。 --- ### 结果解释 通过调整 `\(\alpha\)` 和 `\(\rho\)` 可以控制模型的复杂度和稀疏程度。较大的 `\(\alpha\)` 导致更强的正则化效果，而不同的 `\(\rho\)` 值会影响特征选择的程度。最终的结果可以通过均方误差（MSE）或其他指标衡量模型的表现。 ---