### 决策级融合方法概述 决策级融合是一种多传感器或多模型数据处理技术，其核心在于通过综合多个独立源的信息来提高系统的性能或鲁棒性。在机器学习领域，这种技术通常用于集成学习算法中，例如随机森林、梯度提升树以及堆叠（stacking）等。 以下是基于 Python 的决策级融合实现的一个典型例子： #### 堆叠法（Stacking） 堆叠是一种常见的决策级融合方法，在该方法中，基础分类器的预测被作为元分类器（meta-classifier）的输入特征。这种方法可以显著增强模型的表现力并减少过拟合的风险[^1]。 ```python from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split, cross_val_predict from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier from sklearn.linear_model import LogisticRegression import numpy as np # 创建模拟数据集 X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=42) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 定义基分类器 clf1 = RandomForestClassifier(random_state=42) clf2 = GradientBoostingClassifier(random_state=42) # 使用交叉验证生成基分类器的预测值 preds_clf1 = cross_val_predict(clf1, X_train, y_train, cv=5, method='predict_proba') preds_clf2 = cross_val_predict(clf2, X_train, y_train, cv=5, method='predict_proba') # 将概率预测转换为二维数组形式 train_meta = np.hstack((preds_clf1[:, 1].reshape(-1, 1), preds_clf2[:, 1].reshape(-1, 1))) # 训练元分类器 meta_classifier = LogisticRegression() meta_classifier.fit(train_meta, y_train) # 测试阶段 clf1.fit(X_train, y_train) clf2.fit(X_train, y_train) test_preds_clf1 = clf1.predict_proba(X_test)[:, 1].reshape(-1, 1) test_preds_clf2 = clf2.predict_proba(X_test)[:, 1].reshape(-1, 1) test_meta = np.hstack((test_preds_clf1, test_preds_clf2)) final_predictions = meta_classifier.predict(test_meta) ``` 这段代码展示了如何利用 `RandomForestClassifier` 和 `GradientBoostingClassifier` 进行初步建模，并将其输出的概率分布传递给逻辑回归模型以完成最终预测[^1]。 #### 加权投票法（Weighted Voting） 加权投票是另一种简单的决策级融合策略，其中每个分类器的预测结果会被赋予不同的权重，这些权重可以根据分类器的重要性或者历史表现动态调整[^2]。 ```python class WeightedVotingClassifier: def __init__(self, classifiers=None, weights=None): self.classifiers = classifiers self.weights = weights def fit(self, X, y): for classifier in self.classifiers: classifier.fit(X, y) def predict(self, X): predictions = [] for idx, classifier in enumerate(self.classifiers): pred = classifier.predict(X).astype(float) * self.weights[idx] predictions.append(pred.reshape(-1, 1)) final_pred = (np.sum(np.concatenate(predictions, axis=1), axis=1) >= 0.5).astype(int) return final_pred # 初始化分类器及其对应的权重 clfs = [ RandomForestClassifier(), GradientBoostingClassifier() ] weights = [0.7, 0.3] # 预设权重 weighted_voter = WeightedVotingClassifier(classifiers=clfs, weights=weights) weighted_voter.fit(X_train, y_train) predictions = weighted_voter.predict(X_test) ``` 此示例定义了一个自定义类 `WeightedVotingClassifier` 来执行带权重的多数票决操作[^2]。 ### 总结 以上两种方法分别代表了复杂性和灵活性的不同层次。对于初学者来说，推荐先尝试简单的方法如加权投票；而对于更复杂的场景，则可考虑采用堆叠或其他高级的技术手段。