### 实现Logistic回归模拟实验 对于想要理解logistic回归原理或是评估该模型性能的情况，可以构建一个简单的模拟环境来观察不同参数设置下模型的行为。下面展示的是如何利用Python中的`numpy`库以及`scikit-learn`库来进行一次基本的logistic回归模拟实验。 #### 准备工作 首先安装必要的包： ```bash pip install numpy scikit-learn matplotlib seaborn pandas ``` 接着导入所需的模块并设定随机种子以确保结果可重复： ```python import numpy as np from sklearn.linear_model import LogisticRegression from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, confusion_matrix import matplotlib.pyplot as plt import seaborn as sns import pandas as pd np.random.seed(42) # For reproducibility ``` #### 创建虚拟数据集 这里创建了一个二分类问题的数据集，其中包含了两个特征变量X1,X2和目标变量y。通过调整正类别的转换率（conversion rate），可以改变样本分布特性。 ```python def generate_data(n_samples=1000, p_positive=0.5): """Generate synthetic binary classification dataset.""" X = np.random.randn(n_samples, 2) y = (np.random.rand(n_samples) < p_positive).astype(int) return X, y # Generate data with different conversion rates for demonstration purposes. X_pos_rate_07, y_pos_rate_07 = generate_data(p_positive=0.7) X_neg_rate_03, y_neg_rate_03 = generate_data(p_positive=0.3) print(f"Positive class proportion at 70%: {sum(y_pos_rate_07)/len(y_pos_rate_07):.2f}") print(f"Negative class proportion at 30%: {sum(y_neg_rate_03)/len(y_neg_rate_03):.2f}") ``` #### 构建与训练模型 定义函数用于分割数据集、初始化逻辑斯蒂回归对象、拟合模型，并返回预测标签及其准确性得分。 ```python def fit_and_predict(X, y): """Fit logistic regression model and predict labels.""" X_train, X_test, y_train, y_test = train_test_split( X, y, stratify=y, random_state=42 ) clf = LogisticRegression() clf.fit(X_train, y_train) predictions = clf.predict(X_test) acc = accuracy_score(predictions, y_test) return predictions, acc predictions_high_conv, high_acc = fit_and_predict(X_pos_rate_07, y_pos_rate_07) predictions_low_conv, low_acc = fit_and_predict(X_neg_rate_03, y_neg_rate_03) print(f"Accuracy on higher conversion rate set: {high_acc:.2f}") print(f"Accuracy on lower conversion rate set: {low_acc:.2f}") ``` #### 可视化混淆矩阵 绘制混淆矩阵可以帮助直观了解模型的表现情况，特别是当类别不平衡时尤为重要。 ```python def plot_confusion_matrix(cm, title="Confusion Matrix"): df_cm = pd.DataFrame(cm, index=[i for i in "01"], columns=[i for i in "01"]) plt.figure(figsize=(8, 6)) sns.heatmap(df_cm, annot=True, fmt='g') plt.title(title) plt.ylabel('True label') plt.xlabel('Predicted label') cm_high = confusion_matrix(y_pos_rate_07[train_test_split(X_pos_rate_07,y_pos_rate_07)[3]], predictions_high_conv) plot_confusion_matrix(cm_high, 'Higher Conversion Rate Confusion Matrix') cm_low = confusion_matrix(y_neg_rate_03[train_test_split(X_neg_rate_03,y_neg_rate_03)[3]], predictions_low_conv) plot_confusion_matrix(cm_low, 'Lower Conversion Rate Confusion Matrix') ``` 上述过程展示了如何使用Python实现一个简易版的logistic回归模拟实验[^1]。此方法不仅有助于加深对算法的理解，而且能够帮助研究者探索不同的超参数配置对最终效果的影响。