### Python中实现Logistic回归 #### 什么是Logistic回归？ Logistic回归是一种广泛使用的分类算法，在处理二分类或多分类问题时表现优异。其核心思想是通过Sigmoid函数将线性组合的结果映射到0至1之间，从而表示某一类别发生的概率[^1]。 #### Logistic回归的数学基础 假设输入特征向量为 \( \mathbf{x} \)，权重向量为 \( \mathbf{w} \)，偏置项为 \( b \)。则Logistic回归模型可以表示为： \[ h_{\theta}(x) = \sigma(\mathbf{w}^\top \mathbf{x} + b) \] 其中，\( \sigma(z) = \frac{1}{1 + e^{-z}} \) 是Sigmoid函数[^3]。 为了优化模型参数，通常采用最大似然估计法来构建损失函数，并利用梯度下降或其他优化方法求解最优参数。 --- #### 使用Python实现Logistic回归 以下是完整的Python代码示例及其解释： ```python import numpy as np from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.metrics import accuracy_score, confusion_matrix class LogisticRegression: def __init__(self, learning_rate=0.01, num_iterations=1000): self.learning_rate = learning_rate self.num_iterations = num_iterations self.weights = None self.bias = None def sigmoid(self, z): """计算Sigmoid函数""" return 1 / (1 + np.exp(-z)) def fit(self, X, y): """ 训练模型 :param X: 输入特征矩阵 :param y: 输出标签 """ n_samples, n_features = X.shape self.weights = np.zeros(n_features) self.bias = 0 # 梯度下降更新参数 for _ in range(self.num_iterations): linear_model = np.dot(X, self.weights) + self.bias predictions = self.sigmoid(linear_model) dw = (1/n_samples) * np.dot(X.T, (predictions - y)) # 权重梯度 db = (1/n_samples) * np.sum(predictions - y) # 偏置梯度 self.weights -= self.learning_rate * dw # 更新权重 self.bias -= self.learning_rate * db # 更新偏置 def predict(self, X): """ 预测新样本的类别 :param X: 测试集特征矩阵 :return: 预测结果 """ linear_output = np.dot(X, self.weights) + self.bias probabilities = self.sigmoid(linear_output) return [1 if i > 0.5 else 0 for i in probabilities] # 数据准备 X = np.array([[2.7810836, 2.550537003], [1.465489372, 2.362125076]]) y = np.array([0, 1]) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 特征标准化 scaler = StandardScaler() X_train_scaled = scaler.fit_transform(X_train) X_test_scaled = scaler.transform(X_test) # 创建并训练模型 model = LogisticRegression(learning_rate=0.1, num_iterations=1000) model.fit(X_train_scaled, y_train) # 进行预测 y_pred = model.predict(X_test_scaled) # 性能评估 accuracy = accuracy_score(y_test, y_pred) confusion_mat = confusion_matrix(y_test, y_pred) print(f"Accuracy: {accuracy}") print(f"Confusion Matrix:\n{confusion_mat}") ``` 上述代码实现了自定义的Logistic回归模型，包括以下几个部分： - **初始化**：设置学习率和迭代次数。 - **sigmoid函数**：用于将线性输出转换为概率值。 - **fit方法**：通过梯度下降法调整权重和偏置。 - **predict方法**：根据当前模型参数对新的数据进行预测。 --- #### 多分类Logistic回归 对于多分类问题，可以通过“一对多”策略扩展Logistic回归。具体来说，针对每个类别分别训练一个二分类器，最终选择具有最高概率的类别作为预测结果[^2]。 以下是一个简单的多分类实现框架： ```python def one_vs_all_logistic_regression(X_train, y_train, classes, learning_rate=0.1, iterations=1000): classifiers = {} for c in classes: binary_y = (y_train == c).astype(int) classifier = LogisticRegression(learning_rate, iterations) classifier.fit(X_train, binary_y) classifiers[c] = classifier return classifiers def predict_one_vs_all(classifiers, X): all_predictions = [] for key, clf in classifiers.items(): proba = clf.predict_proba(X) all_predictions.append(proba[:, 1]) all_predictions = np.vstack(all_predictions).T return np.argmax(all_predictions, axis=1) ``` --- #### 实验结果分析 实验结果显示，该模型能够有效拟合训练数据，并在测试集中达到较高的准确性。然而，实际应用中可能需要进一步调参以提升性能。