### 梯度下降算法实现 以下是基于 Python 编程语言的梯度下降算法实现代码示例，该代码能够读取指定的数据文件 `logireg_data.txt` 并完成梯度下降过程。 #### 1. 数据加载部分 此部分用于从给定路径中读取数据文件，并将其划分为特征矩阵 \(X\) 和目标向量 \(y\)： ```python import numpy as np def load_data(filename): """ 加载数据集并分离自变量和因变量。 :param filename: 数据文件名 :return: 特征矩阵 X 和标签向量 y """ data = np.loadtxt(filename, delimiter=',') X = data[:, :-1] # 自变量 y = data[:, -1] # 因变量 return X, y ``` 上述代码实现了数据加载功能[^2]。假设输入文件名为 `'F:\\python\\机器学习\\data\\梯度下降求解逻辑回归\\梯度下降\\data\\logireg_data.txt'`，则可以调用如下方法来获取数据： ```python filename = 'F:\\python\\机器学习\\data\\梯度下降求解逻辑回归\\梯度下降\\data\\logireg_data.txt' X, y = load_data(filename) ``` --- #### 2. 归一化处理 为了提高梯度下降算法的收敛速度，在实际应用中通常会对特征进行归一化处理： ```python def normalize(X): """ 对特征矩阵进行归一化操作。 :param X: 原始特征矩阵 :return: 归一化的特征矩阵及其均值和标准差 """ mean = np.mean(X, axis=0) std = np.std(X, axis=0) X_norm = (X - mean) / std return X_norm, mean, std ``` 执行归一化后，原始特征会被转换为具有零均值和单位方差的形式[^3]。 --- #### 3. 成本函数定义 成本函数衡量模型预测值与真实值之间的差距。对于线性回归问题，常用的是平方误差损失函数： ```python def compute_cost(X, y, theta): """ 计算当前参数下的代价函数值。 :param X: 输入特征矩阵 :param y: 输出标签向量 :param theta: 参数向量 :return: 当前参数对应的代价函数值 """ m = len(y) predictions = X.dot(theta) cost = (1/(2*m)) * np.sum((predictions - y)**2) return cost ``` 此处的成本函数公式来源于线性回归理论基础[^4]。 --- #### 4. 梯度下降算法核心 以下代码展示了批量梯度下降法的核心实现逻辑： ```python def gradient_descent(X, y, theta, alpha, num_iters): """ 使用批量梯度下降法优化参数。 :param X: 输入特征矩阵 :param y: 输出标签向量 :param theta: 初始参数向量 :param alpha: 学习率 :param num_iters: 迭代次数 :return: 更新后的参数向量以及每一步的代价函数历史记录 """ m = len(y) J_history = [] for i in range(num_iters): predictions = X.dot(theta) error = predictions - y grad = (1/m) * X.T.dot(error) theta -= alpha * grad # 记录每一次迭代后的代价函数值 J_history.append(compute_cost(X, y, theta)) return theta, J_history ``` 这段代码实现了批量梯度下降法（BGD），其中每次迭代都会利用整个训练集更新参数。 --- #### 5. 完整流程整合 最后，将以上各模块组合起来形成完整的程序框架： ```python if __name__ == "__main__": # 步骤1：加载数据 filename = 'F:\\python\\机器学习\\data\\梯度下降求解逻辑回归\\梯度下降\\data\\logireg_data.txt' X, y = load_data(filename) # 步骤2：添加偏置项列 ones_column = np.ones((len(X), 1)) X = np.hstack((ones_column, X)) # 步骤3：归一化特征 X_norm, _, _ = normalize(X[:, 1:]) X = np.hstack((np.ones((len(X), 1)), X_norm)) # 步骤4：初始化参数 initial_theta = np.zeros(X.shape[1]) # 步骤5：设置超参数 alpha = 0.01 iterations = 1500 # 步骤6：运行梯度下降 final_theta, cost_history = gradient_descent(X, y, initial_theta, alpha, iterations) print("最终得到的参数:", final_theta) print("最后一次迭代的代价函数值:", cost_history[-1]) ``` --- ### 总结 通过上述代码，完成了从数据加载到梯度下降算法的具体实现全过程。注意调整学习率 \(\alpha\) 及迭代次数以适应不同规模的数据集。