python 分割文件

### 如何使用 Python 分割文件在 Python 中，可以通过多种方法实现文件的分割操作。以下是几种常见的技术方案： #### 方法一：基于固定大小分割大文件可以按照指定字节数来切割文件。这种方法适用于任何类型的二进制或文本文件。 ```python def split_file_by_size(file_path, chunk_size=1024*1024): # 默认每部分为 1MB with open(file_path, 'rb') as f: part_num = 1 while True: chunk_data = f.read(chunk_size) if not chunk_data: break part_name = f"{file_path}.part{part_num}" with open(part_name, 'wb') as part_f: part_f.write(chunk_data) part_num += 1 ``` 上述代码通过逐块读取源文件并写入新文件的方式完成分割[^1]。 --- #### 方法二：按照行数分割文本文件对于纯文本文件，可以根据行数将其拆分为多个子文件。 ```python def split_text_file_by_lines(input_file, lines_per_part=1000): with open(input_file, 'r', encoding='utf-8') as infile: part_num = 1 temp_lines = [] for idx, line in enumerate(infile, start=1): temp_lines.append(line) if idx % lines_per_part == 0 or '' == line.strip(): output_filename = f'{input_file}_part_{part_num}' with open(output_filename, 'w', encoding='utf-8') as outfile: outfile.writelines(temp_lines) part_num += 1 temp_lines.clear() if temp_lines: # 处理剩余未满的部分 output_filename = f'{input_file}_part_{part_num}' with open(output_filename, 'w', encoding='utf-8') as outfile: outfile.writelines(temp_lines) split_text_file_by_lines('example.txt', lines_per_part=500) # 将 example.txt 文件按 500 行分片保存 ``` 此函数会根据设定的 `lines_per_part` 参数决定每一部分包含多少行数据。 --- #### 方法三：处理 CIFAR-10 数据集如果目标是对特定的数据集（如 CIFAR-10）进行划分，则需先下载该数据集再执行切分逻辑。 CIFAR-10 是一个常用的小型图像分类数据集，在 TensorFlow 或 PyTorch 的帮助下可轻松加载和分离训练测试样本集合。 ```python import tensorflow as tf (x_train, y_train), (x_test, y_test) = tf.keras.datasets.cifar10.load_data() print(f'Train Data Shape: {x_train.shape}') print(f'Test Data Shape: {x_test.shape}') # 如果需要进一步自定义比例分配，比如 70% 训练集 & 30% 验证集 from sklearn.model_selection import train_test_split X_train_final, X_val, Y_train_final, Y_val = train_t

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 map在python中的应用

目录

python 分割文件

Python内容推荐

python自动办公-14 用Python按时间分割txt文件中的数据

python中的split()函数和os.path.split()函数使用详解

python文件按行分割脚本

bin文件分割python脚本

Python实现分割文件及合并文件的方法

python分割文件的常用方法

python实现大文件分割与合并

python 读txt文件,按‘,’分割每行数据操作

Python分割指定页数的pdf文件方法

python实现文件的分割与合并

python实现按行分割文件

Python 逐行分割大txt文件的方法

如何使用python进行pdf文件分割

python简单分割文件的方法

Python中logging日志记录到文件及自动分割的操作代码

PYTHON文件分割和合并2

python实现大文本文件分割

Python读取分割压缩TXT文本文件实例

python与php实现分割文件代码

Python实现模拟分割大文件及多线程处理的方法

Awesome Short Drama Skills-AI短剧和漫剧 技能包

【无人机协同】基于matlab动态环境下多无人机系统的协同路径规划与防撞（Matlab代码实现）

Spotifast 使用 Rust 重写的原生跨平台 Spotify 桌面客户端（基于egui与fastframe框架构建底层集成 librespot支持 macOS ，Windows ，linux

基于信息素加权 A 与 DWA 的三维无人机路径规划与避障轨迹跟踪控制研究（Matlab代码实现）

【脉冲多普勒雷达信号处理】基于匹配滤波与慢时间傅里叶变换的距离速度联合估计理论及模糊特性研究（Matlab代码实现）

第11章：自然语言处理中的正文数据预处理与代码实现

从GitHub Trending看智能体工程化与业务落地：多智能体协同、流式接口封装与行为审计

GitHub Copilot 本身能直接上传代码文件到仓库吗？

Python网页爬虫与自动化办公实践：基于urllib3、BeautifulSoup和Pandas的表格抓取、数据分析与可视化

用Git+Markdown+静态站点生成器，打造高效在线课程教材

Awesome Short Drama Skills-AI短剧和漫剧技能包