### 使用 Calibrated Probabilities 的 Python 库 在 Python 中，`sklearn.calibration.CalibratedClassifierCV` 是用于校准分类器概率的核心工具之一。该模块允许通过交叉验证的方式对基础分类器的概率估计进行调整，从而提高其可靠性。以下是关于如何使用 `CalibratedClassifierCV` 来生成经过校准的概率的具体说明。 #### 安装依赖库 为了运行以下代码示例，需安装必要的库： ```bash pip install scikit-learn matplotlib numpy pandas seaborn ``` #### 示例代码：校准多个机器学习模型并绘制校准曲线 下面是一个完整的代码示例，展示如何利用 `CalibratedClassifierCV` 对多种分类器进行校准，并绘制它们的校准曲线以及预测概率分布： ```python import numpy as np import matplotlib.pyplot as plt from sklearn import datasets from sklearn.model_selection import train_test_split from sklearn.linear_model import LogisticRegression from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier from sklearn.calibration import calibration_curve, CalibratedClassifierCV from sklearn.metrics import brier_score_loss from sklearn.isotonic import IsotonicRegression from sklearn.svm import LinearSVC # 加载数据集 X, y = datasets.make_classification(n_samples=10000, n_features=20, n_informative=2, n_redundant=2) train_X, test_X, train_y, test_y = train_test_split(X, y, test_size=0.99, random_state=42) # 基础分类器列表 base_classifiers = [ ("Uncalibrated LR", LogisticRegression()), ("Calibrated LR", CalibratedClassifierCV(LogisticRegression(), cv='prefit')), ("Random Forest", RandomForestClassifier(random_state=42)), ("Gradient Boosting", GradientBoostingClassifier(random_state=42)) ] plt.figure(figsize=(10, 10)) for i, (name, clf) in enumerate(base_classifiers): # 训练未校准/已校准模型 if name.startswith('Calibrated'): clf.fit(train_X, train_y) prob_pos = clf.predict_proba(test_X)[:, 1] else: clf.fit(train_X, train_y) calibrator = CalibratedClassifierCV(clf, method="sigmoid", cv=5) calibrator.fit(train_X, train_y) prob_pos = calibrator.predict_proba(test_X)[:, 1] fraction_of_positives, mean_predicted_value = calibration_curve(test_y, prob_pos, n_bins=10) ax1 = plt.subplot2grid((3, 1), (i, 0)) ax1.plot(mean_predicted_value, fraction_of_positives, "s-", label="%s" % (name,)) ax1.set_ylabel("Fraction of positives") ax1.set_ylim([-0.05, 1.05]) ax1.legend(loc="lower right") ax1.grid(True) ax1.set_title("Calibration plots (reliability curve)") ax1.set_xlabel("Mean predicted value") plt.tight_layout() plt.show() # 绘制直方图显示各模型预测概率分布 fig, axes = plt.subplots(1, len(base_classifiers), figsize=(20, 5)) for idx, (_, clf) in enumerate(base_classifiers): if not isinstance(clf, CalibratedClassifierCV): calibrator = CalibratedClassifierCV(clf, method="sigmoid", cv=5) calibrator.fit(train_X, train_y) proba = calibrator.predict_proba(test_X)[:, 1] else: clf.fit(train_X, train_y) proba = clf.predict_proba(test_X)[:, 1] axes[idx].hist(proba, range=(0, 1), bins=10, histtype="step", lw=2) axes[idx].set_title(f"{clf.__class__.__name__} Probability Distribution") axes[idx].set_xlim([0, 1]) plt.tight_layout() plt.show() ``` 上述代码实现了以下几个功能： 1. **加载数据** 并将其划分为训练集和测试集。 2. 创建了一个包含逻辑回归、随机森林和支持向量机等多种分类器的基础分类器集合。 3. 利用 `CalibratedClassifierCV` 对这些分类器进行了校准处理。 4. 绘制了每种分类器的实际正类比例与其预测概率之间的关系（即校准曲线），并通过直方图展示了各个模型预测概率的分布情况。 #### 关于 Random Forest 和 High Cardinality Features [^2] 对于具有高基数特征的数据集，可以考虑采用如下策略来优化随机森林的表现： - 将类别型变量转换为数值编码形式； - 运用目标编码技术为目标列创建新的连续特征表示； - 调整树的最大深度参数以防止过拟合； #### 预测概率输出解释 [^3] 给定一组样本输入到已经完成训练过程后的分类器当中，则可以通过调用 `.predict_proba()` 方法获取对应每一类别的条件概率估计值矩阵 P(y|x)，其中第 j 行代表第 j 个实例属于各类别的可能性大小。 --- ###