### 实现广义线性分类器将低维非线性可分问题转换为高维线性可分的 Python 示例代码 对于低维空间中无法线性分离的数据，可以通过引入非线性映射将其变换到高维空间，从而实现线性可分的目的[^1]。这种技术通常依赖于核函数的支持向量机（SVM）理论[^2]，但在本例中，我们将手动构建一个简单的广义线性分类器来演示这一过程。 --- #### 1. 数学背景 假设我们有一组二维数据点 \((x_1, x_2)\)，它们在原始空间中是非线性可分的。我们可以定义一个非线性映射： \[ \phi(x) = [\phi_1(x), \phi_2(x), ..., \phi_m(x)] \] 其中 \(\phi_i(x)\) 是某种特征提取函数。例如，常用的多项式映射形式为： \[ \phi(x) = [x_1^2, x_2^2, \sqrt{2}x_1x_2]^T \] 这将二维数据映射到了三维空间，在新的特征空间中可能变得线性可分。 --- #### 2. Python 实现 以下是具体的代码实现： ```python import numpy as np import matplotlib.pyplot as plt # 定义非线性映射函数 phi def feature_map(x): """ 将二维数据 (x1, x2) 映射到三维空间 [(x1)^2, (x2)^2, sqrt(2)*x1*x2] :param x: 输入数据矩阵，形状为 (n_samples, 2) :return: 映射后的数据矩阵，形状为 (n_samples, 3) """ return np.array([ x[:, 0]**2, x[:, 1]**2, np.sqrt(2) * x[:, 0] * x[:, 1] ]).T # 定义线性分类器 class LinearClassifier: def __init__(self): self.w = None # 权重向量 self.b = None # 偏置项 def fit(self, X, y): """ 使用最小二乘法拟合线性分类器 :param X: 特征矩阵，形状为 (n_samples, n_features) :param y: 标签向量，形状为 (n_samples,) """ ones_column = np.ones((X.shape[0], 1)) # 添加偏置列 X_augmented = np.hstack([ones_column, X]) # 扩展特征矩阵 pseudo_inverse = np.linalg.pinv(X_augmented) # 计算伪逆 params = pseudo_inverse @ y # 解决最小二乘问题 self.b = params[0] # 提取偏置 self.w = params[1:] # 提取权重 def predict(self, X): """ 对新数据进行预测 :param X: 新数据矩阵，形状为 (n_samples, n_features) :return: 预测标签，形状为 (n_samples,) """ scores = X @ self.w + self.b # 计算得分 return np.sign(scores) # 返回符号作为分类结果 # 数据生成 np.random.seed(42) theta = np.linspace(0, 2 * np.pi, 100) r_positive = 1.5 + 0.1 * np.random.randn(50) r_negative = 0.5 + 0.1 * np.random.randn(50) X_positive = np.column_stack((r_positive * np.cos(theta[:50]), r_positive * np.sin(theta[:50]))) X_negative = np.column_stack((r_negative * np.cos(theta[50:]), r_negative * np.sin(theta[50:]))) X = np.vstack((X_positive, X_negative)) y = np.hstack((np.ones(len(X_positive)), -np.ones(len(X_negative)))) # 应用非线性映射 Phi_X = feature_map(X) # 构建并训练线性分类器 classifier = LinearClassifier() classifier.fit(Phi_X, y) # 可视化结果 x_min, x_max = X[:, 0].min() - 0.5, X[:, 0].max() + 0.5 y_min, y_max = X[:, 1].min() - 0.5, X[:, 1].max() + 0.5 xx, yy = np.meshgrid(np.linspace(x_min, x_max, 100), np.linspace(y_min, y_max, 100)) Z = classifier.predict(feature_map(np.c_[xx.ravel(), yy.ravel()])).reshape(xx.shape) plt.contourf(xx, yy, Z > 0, alpha=0.8, cmap=plt.cm.Paired) plt.scatter(X_positive[:, 0], X_positive[:, 1], color='blue', label="Positive Class", edgecolors='k') plt.scatter(X_negative[:, 0], X_negative[:, 1], color='red', label="Negative Class", edgecolors='k') plt.title("Nonlinear to Linear Transformation with Feature Mapping") plt.xlabel("Feature 1") plt.ylabel("Feature 2") plt.legend() plt.show() ``` --- #### 3. 设计说明 - **feature_map 函数**：实现了从二维空间到三维空间的非线性映射，具体采用了二次多项式的映射方式。 - **LinearClassifier 类**：封装了一个基本的线性分类器，使用最小二乘法求解权重和偏置[^3]。 - **数据生成与可视化**：通过生成环形分布的数据点展示非线性可分的情况，并验证经过映射后是否能够成功分类。 --- #### 4. 结果分析 运行上述代码后可以看到，原本在二维空间中无法线性分离的两簇数据点，经过非线性映射到三维空间后变成了线性可分的状态。这种方法的核心在于设计合适的特征映射函数，使得复杂的关系能够在更高的维度下简化为线性关系[^1]。 --- ###