### Python实现概率密度估计的方法 #### 参数估计的概率密度估计 参数估计通常假定数据服从某种已知分布（如正态分布）。通过最大似然估计 (MLE) 或其他方法来拟合该分布的参数。 以下是使用 `scipy.stats.norm` 进行高斯分布参数估计的例子： ```python import numpy as np from scipy import stats # 假设我们有一组样本数据 data = np.array([1.5, 2.0, 2.5, 3.0, 3.5]) # 使用最大似然估计计算均值和标准差 mean, std_dev = stats.norm.fit(data) print(f"Mean: {mean}, Standard Deviation: {std_dev}") ``` 上述代码利用了 `stats.norm.fit()` 方法，它返回的是最佳匹配正态分布的均值和标准差[^1]。 --- #### 非参数估计的概率密度估计 非参数估计不依赖于任何特定的数据分布假设。常用的技术之一是核密度估计 (Kernel Density Estimation, KDE)，它可以近似任意形状的概率密度函数。 下面是使用 `sklearn.neighbors.KernelDensity` 实现核密度估计的一个例子： ```python from sklearn.neighbors import KernelDensity import matplotlib.pyplot as plt # 同样的样本数据 data = np.array([1.5, 2.0, 2.5, 3.0, 3.5]).reshape(-1, 1) # 创建并拟合KDE模型 kde = KernelDensity(bandwidth=0.2, kernel='gaussian') kde.fit(data) # 计算PDF上的点 x_d = np.linspace(0, 5, 100).reshape(-1, 1) log_pdf = kde.score_samples(x_d) pdf = np.exp(log_pdf) plt.plot(x_d.flatten(), pdf) plt.title('Kernel Density Estimate') plt.show() ``` 这段代码展示了如何用带宽为 0.2 的高斯核来进行核密度估计，并绘制其 PDF 图形[^2]。 --- ### 构建贝叶斯分类器 下面是一个完整的基于 Gaussian Naive Bayes 和自定义非参数估计的贝叶斯分类器实现。 #### Gaussian Naive Bayes 分类器 这是基于参数估计的一种简单实现方式： ```python from sklearn.naive_bayes import GaussianNB from sklearn.model_selection import train_test_split from sklearn.datasets import load_iris # 加载鸢尾花数据集作为示例 X, y = load_iris(return_X_y=True) X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42) # 初始化并训练GaussianNB模型 gnb = GaussianNB() gnb.fit(X_train, y_train) # 测试模型性能 accuracy = gnb.score(X_test, y_test) print(f"Gaussian NB Accuracy: {accuracy * 100:.2f}%") ``` 此代码片段加载了一个经典的多分类问题数据集，并应用了内置的 `GaussianNB` 来完成分类任务。 --- #### 自定义非参数估计的贝叶斯分类器 对于更复杂的场景，可以手动实现一个基于核密度估计的朴素贝叶斯分类器： ```python class CustomNaiveBayes: def __init__(self, bandwidth=0.2): self.bandwidth = bandwidth def fit(self, X, y): from collections import defaultdict self.classes = list(set(y)) self.kdes = {} for c in self.classes: class_data = X[y == c] self.kdes[c] = [] for feature_idx in range(class_data.shape[1]): data_feature = class_data[:, feature_idx].reshape(-1, 1) kde = KernelDensity(bandwidth=self.bandwidth, kernel='gaussian').fit(data_feature) self.kdes[c].append(kde) def predict_proba(self, X): probas = [] for sample in X: class_probas = [] for c in self.classes: log_prob_sum = sum(kde.score([[sample[i]]]) for i, kde in enumerate(self.kdes[c])) class_probas.append(np.exp(log_prob_sum)) total = sum(class_probas) normalized_probs = [p / total for p in class_probas] probas.append(normalized_probs) return np.array(probas) def predict(self, X): probas = self.predict_proba(X) predictions = [self.classes[np.argmax(p)] for p in probas] return np.array(predictions) # 应用自定义分类器到相同数据上 clf = CustomNaiveBayes(bandwidth=0.2) clf.fit(X_train, y_train) y_pred = clf.predict(X_test) accuracy_custom = np.mean(y_pred == y_test) print(f"Custom NB Accuracy: {accuracy_custom * 100:.2f}%") ``` 这个自定义分类器实现了每种特征的独立核密度估计，并将其应用于预测阶段中的条件概率评估。 --- ### 总结 以上分别介绍了参数估计与非参数估计下的概率密度估计以及它们在贝叶斯分类器中的实际运用。参数估计适合具有明确先验分布的情况；而非参数估计则更加灵活，能够适应未知或复杂分布的情形。