### 如何在 Python 中生成和处理机器学习训练数据集 #### 使用 `sklearn` 自带的数据集 `sklearn` 是一个强大的 Python 机器学习库，它提供了多种内置数据集供开发者使用。这些数据集可以直接加载到内存中，并用于快速验证算法性能[^1]。 ```python from sklearn.datasets import load_iris, make_classification # 加载 Iris 数据集作为示例 data = load_iris() X, y = data.data, data.target print(f"Iris 数据特征形状: {X.shape}") print(f"Iris 数据标签形状: {y.shape}") # 或者生成人工分类数据集 X_generated, y_generated = make_classification(n_samples=1000, n_features=20, random_state=42) print(f"生成的人工数据特征形状: {X_generated.shape}") print(f"生成的人工数据标签形状: {y_generated.shape}") ``` #### 创建自定义数据集 除了使用现成的数据集外，还可以通过编程方式生成适合特定需求的数据集。这种方法允许更灵活地调整数据分布、噪声水平和其他参数[^3]。 ```python import numpy as np import pandas as pd def generate_custom_dataset(num_samples=1000, num_features=5, noise_level=0.1): X = np.random.rand(num_samples, num_features) coefficients = np.random.randn(num_features) * (np.arange(1, num_features + 1)) ** (-0.5) y = X.dot(coefficients) + np.random.normal(scale=noise_level, size=num_samples) df = pd.DataFrame(X, columns=[f'feature_{i}' for i in range(num_features)]) df['target'] = y return df custom_data = generate_custom_dataset() print(custom_data.head()) ``` #### 数据预处理与标准化 为了提高模型的表现力，在实际应用之前通常需要对原始数据进行预处理操作，比如划分训练/测试集合以及执行特征缩放等步骤[^2]。 ```python from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 假设已有的数据存储于变量 'X', 'y' X_train, X_test, y_train, y_test = train_test_split( custom_data.drop('target', axis=1), custom_data['target'], test_size=0.2, random_state=42 ) scaler = StandardScaler().fit(X_train) X_train_scaled = scaler.transform(X_train) X_test_scaled = scaler.transform(X_test) print("Training set after scaling:") print(pd.DataFrame(X_train_scaled).describe()) ``` #### 总结 上述方法展示了如何借助 Python 和其生态中的工具来构建高质量的机器学习训练数据集。无论是采用官方提供的样本还是自行设计合成资料，都需注意保持良好的结构化形式以便后续分析流程顺利开展。