### 线性回归的基础实现 线性回归是一种用于建模自变量和因变量之间关系的技术，其目标是找到最佳拟合直线或平面[^2]。以下是基于 Python 的线性回归基础实验教程及其代码示例。 #### 数据准备 为了进行线性回归分析，首先需要准备好数据集。假设我们有一组房屋面积（Size）和价格（Price）的数据： ```python import pandas as pd path = 'ex1data1.txt' # 文件路径 data = pd.read_csv(path, header=None, names=['Size', 'Price']) # 加载数据并命名列 print(data.head()) # 查看前五行数据 ``` 上述代码加载了一个简单的 CSV 文件，并将其转换为 Pandas DataFrame 结构以便后续处理[^4]。 #### 特征缩放与标准化 当多个特征具有不同的量纲时，建议对其进行归一化处理以提高收敛速度。可以使用如下代码完成这一操作： ```python from sklearn.preprocessing import StandardScaler scaler = StandardScaler() scaled_data = scaler.fit_transform(data[['Size']]) # 只对 Size 列进行标准化 data['Scaled_Size'] = scaled_data.flatten() # 将标准化后的结果加入到原始数据集中 ``` 此步骤并非总是必要，但在某些场景下能够显著提升模型性能[^3]。 #### 构造线性模型 定义损失函数以及优化器之后即可训练模型。这里采用梯度下降法求解参数θ0 和 θ1: ```python import numpy as np def compute_cost(X, y, theta): m = len(y) predictions = X.dot(theta) square_err = (predictions - y)**2 J = 1/(2*m) * np.sum(square_err) return J def gradient_descent(X, y, theta, alpha, num_iters): m = len(y) cost_history = [] for i in range(num_iters): predictions = X.dot(theta) errors_x1 = (predictions - y) * X[:, 0] errors_x2 = (predictions - y) * X[:, 1] theta[0][0] -= alpha*(1/m)*errors_x1.sum() theta[1][0] -= alpha*(1/m)*errors_x2.sum() cost = compute_cost(X, y, theta) cost_history.append(cost) return theta, cost_history X = data[['Scaled_Size']] ones = np.ones([X.shape[0], 1]) X = np.hstack((ones, X)) # 添加偏置项 y = data.iloc[:, 1].values.reshape(-1,1) theta = np.zeros([2,1]) # 初始化权重向量 alpha = 0.01 # 学习率 iterations = 1500 # 迭代次数 final_theta, costs = gradient_descent(X, y, theta, alpha, iterations) print('最终的Theta:', final_theta.ravel()) ``` 以上代码实现了批量梯度下降算法来最小化均方误差成本函数。 #### 预测新样本的价格 一旦得到最优参数后就可以利用该模型对未来未知实例做出预测： ```python new_size = [[7]] normalized_new_size = scaler.transform(new_size).flatten()[0] predict_price = final_theta[0]+final_theta[1]*normalized_new_size print(f"预测大小 {new_size} 房屋的价格为 ${predict_price}") ``` 通过这种方式完成了从零构建一个完整的线性回归流程[^1]。