如何使用Python将数据集划分为测试集和训练集

在Python中，划分数据集为训练集和测试集是机器学习中的常见步骤，主要目的是为了评估模型的泛化能力。以下是几种常见的实现方法。 ### 1. 使用 `train_test_split` 方法 `scikit-learn` 库中的 `train_test_split` 函数是划分数据集最简单且常用的方法之一。它可以直接将数据集按照指定比例随机划分为训练集和测试集。 ```python from sklearn.model_selection import train_test_split # 假设 X 是特征数据，y 是标签数据 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) ``` - `test_size=0.2` 表示测试集占总数据的20%。 - `random_state=42` 确保每次划分的结果一致。 ### 2. 使用 K 折交叉验证 K 折交叉验证（K-Fold Cross Validation）是一种更稳健的评估方法，它将数据集划分为 K 个子集（称为“折”），每次使用其中一折作为测试集，其余 K-1 折作为训练集，重复 K 次并取平均结果。 ```python from sklearn.model_selection import KFold kf = KFold(n_splits=5, shuffle=True, random_state=42) for train_index, test_index in kf.split(X): X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] ``` - `n_splits=5` 表示将数据集划分为5折。 - `shuffle=True` 表示在划分前先打乱数据。 ### 3. 使用分层抽样（Stratified K-Fold）当数据集存在类别不平衡问题时，可以使用 `StratifiedKFold` 来保持每一折中各类别的比例与原始数据集一致。 ```python from sklearn.model_selection import StratifiedKFold skf = StratifiedKFold(n_splits=5, shuffle=True, random_state=42) for train_index, test_index in skf.split(X, y): X_train, X_test = X[train_index], X[test_index] y_train, y_test = y[train_index], y[test_index] ``` ### 4. 自助法（Bootstrap）自助法是一种有放回抽样方法，适用于小数据集。它通过从原始数据集中重复抽样构建训练集，未被抽中的样本作为测试集。 ```python import numpy as np def bootstrap_sample(X, y, random_state=42): np.random.seed(random_state) n_samples = len(X) indices = np.random.choice(n_samples, size=n_samples, replace=True) out_of_bag = np.setdiff1d(np.arange(n_samples), indices) return X[indices], y[indices], X[out_of_bag], y[out_of_bag] X_train, y_train, X_test, y_test = bootstrap_sample(X, y) ``` ### 5. 手动划分数据集如果希望对数据划分过程有更精细的控制，也可以手动实现划分逻辑。 ```python import numpy as np # 随机打乱数据 indices = np.random.permutation(len(X)) train_size = int(0.8 * len(X)) train_indices, test_indices = indices[:train_size], indices[train_size:] X_train, X_test = X[train_indices], X[test_indices] y_train, y_test = y[train_indices], y[test_indices] ``` ###

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 Python中config的使用方法

目录

如何使用Python将数据集划分为测试集和训练集

Python内容推荐

python 划分数据集为训练集和测试集的方法

Python 实现训练集、测试集随机划分

Python分割训练集和测试集的方法示例

python中如何实现将数据分成训练集与测试集的方法

对python中数据集划分函数StratifiedShuffleSplit的使用详解

Python数据集切分实例

朴素贝叶斯算法实现(使用MNIST数据集)_Python环境

人工智能深度学习Yolov7训练自己的数据集（超详细教程）对应python源码，将数据集随机按比例分为训练集、验证集和测试集 Yolov7训练自己的数

Python sklearn KFold 生成交叉验证数据集的方法

fer2013数据集和提取出的数据集图片以及python提取代码

Python数据集划分[项目代码]

人工智能数据集自动划分工具_基于Python和Tkinter的YOLO格式数据集智能分割系统_通过可视化界面交互实现深度学习训练集验证集测试集的自动化分配与文件管理_支持自定义比例.zip

【ARIMA-SSA-LSTM】合差分自回归移动平均方法-麻雀优化-长短期记忆神经网络研究（Python代码实现）

Python3元组不可变深层原理

用pandas划分数据集实现训练集和测试集

将数据集中每张图对应的csv文件转成txt，并将图片和txt文本标签数据划分为训练集，验证集和测试集

目标检测数据集划分[可运行源码]

Flower102数据集划分[源码]

一个快速获取训练集和测试集的笔记本。_Jupyter Notebook_下载.zip

labelme2mask转化、训练集测试集合划分的jupyter文件都在一个文件夹包中

mongodb-linux-x86_64-ubuntu2004-8.0.13.tgz

chromedriver-linux64-159.0.8135.0(Canary).zip

三相四桥臂电压不对称跌落补偿动态电压恢复器DVR（Simulink仿真实现）

【MIMO无线编码】在瑞利衰落信道中比较2x2和4x4的BPSK调制系统（Matlab代码实现）

44-基于STC89C52粮库远程无线监测系统设计(设计说明书+全套资料).rar

Rust系统编程与WebAssembly开发：LLVM IR教程及实战资源

OpenStock：中小企业可用的开源库存管理系统

位置传感器电路是怎么把物体移动转换成电信号的？

Windows平台ESP32开发环境一站式搭建包：MSYS2、ESP-IDF v3.3与VS Code集成配置

OpenStock：开源A股行情数据抓取与自动化选股策略工具