### Python 中硬投票与软投票的区别 硬投票和软投票是两种常见的集成学习策略，主要用于通过多个基础分类器的组合提升整体预测性能。 #### 硬投票 (Hard Voting) 硬投票是一种简单的多数表决机制。在这种方式下，每个基础分类器独立做出预测，最终的结果由得票最多的类别决定。这种方法仅考虑离散的类别标签，而不涉及任何概率估计。因此，在硬投票中，无法获取到各个类别的置信度或概率分布信息[^1]。 ```python from sklearn.ensemble import VotingClassifier from sklearn.linear_model import LogisticRegression from sklearn.svm import SVC from sklearn.neighbors import KNeighborsClassifier from sklearn.datasets import make_classification from sklearn.model_selection import train_test_split # 创建数据集 X, y = make_classification(n_samples=1000, n_features=20, n_informative=15, n_redundant=5, random_state=1) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 定义基础分类器 clf1 = LogisticRegression(random_state=1) clf2 = SVC(probability=True, random_state=1) clf3 = KNeighborsClassifier() # 使用硬投票构建集成模型 voting_clf_hard = VotingClassifier(estimators=[('lr', clf1), ('svc', clf2), ('knn', clf3)], voting='hard') voting_clf_hard.fit(X_train, y_train) ``` 上述代码展示了如何利用 `VotingClassifier` 实现硬投票模式下的集成分类器[^3]。 --- #### 软投票 (Soft Voting) 软投票则更加复杂一些，它不仅关注于类别标签本身，还考虑到各分类器对于不同类别的预测概率。具体来说，软投票会计算所有分类器对某个特定样本属于某类的概率均值，并以此为基础选出具有最高平均概率的那个类别作为最终预测结果。这种方式能够提供更多的细节信息，比如 ROC 曲线绘制所需的连续数值型输出等。 为了启用软投票功能，所有的子分类器都需要支持返回概率的功能（即具备 `.predict_proba()` 方法）。例如： ```python # 使用软投票构建集成模型 voting_clf_soft = VotingClassifier( estimators=[('lr', clf1), ('svc', clf2), ('knn', clf3)], voting='soft' ) voting_clf_soft.fit(X_train, y_train) ``` 注意这里设置了参数 `voting='soft'` 来指定采用软投票的方式。 --- ### 如何设置权重？ 无论是硬投票还是软投票，都可以进一步引入 **权重调整** 的概念来增强某些表现较好的基分类器的作用或者削弱那些效果较差者的影响程度。这可以通过传递额外的关键字参数 `weights` 给 `VotingClassifier` 构造函数完成配置操作。例如下面的例子演示了为三个不同的分类器分配不相等的重要性系数的情况: ```python weighted_voting_clf = VotingClassifier( estimators=[('lr', clf1), ('svc', clf2), ('knn', clf3)], voting='soft', weights=[2, 1, 1] # 设置逻辑回归两倍重要性相对于其余两者 ) weighted_voting_clf.fit(X_train, y_train) ``` 在这个例子当中，我们赋予逻辑回归双倍权数相比另外两个算法(SVM 和 kNN)，意味着它的意见将在总体决策过程中占据更大比例。 --- ### 总结 - 硬投票适合不需要概率信息的任务场景； - 如果希望得到更多关于不确定性的洞察，则应选用软投票形式； - 对单个成员贡献大小加以区分可通过设定适当权重实现优化目标。