### Python 数据分割方法及其实现 #### 随机分割 随机分割是一种常见的数据分割方式，适用于需要将数据集划分为训练集、验证集和测试集的情况。通过这种方式可以确保每部分的数据分布尽可能一致[^1]。 以下是基于 `random` 模块实现的随机分割代码示例： ```python import random def random_split(data, ratios): """ 将数据按指定比例随机分割。 参数: data (list): 原始数据列表。 ratios (list of float): 各部分的比例，例如 [0.7, 0.2, 0.1]。 返回: list: 分割后的多个子列表。 """ assert abs(sum(ratios) - 1.0) < 1e-9, "ratios 的总和必须等于 1" indices = list(range(len(data))) random.shuffle(indices) splits = [] start_idx = 0 for ratio in ratios[:-1]: end_idx = int(start_idx + len(data) * ratio) splits.append([data[i] for i in indices[start_idx:end_idx]]) start_idx = end_idx splits.append([data[i] for i in indices[start_idx:]]) return splits # 示例用法 data = list(range(1, 101)) train_set, val_set, test_set = random_split(data, [0.7, 0.2, 0.1]) print("训练集:", train_set[:5], "...") # 显示前五个元素 print("验证集:", val_set[:5], "...") # 显示前五个元素 print("测试集:", test_set[:5], "...") # 显示前五个元素 ``` --- #### 特定属性分割 当数据具有某些特征或标签时，可以根据这些特性进行更精细的分割。这种方法有助于深入研究不同类别之间的差异。 以下是一个简单的例子，展示如何根据分类标签对数据进行分组并进一步划分： ```python from collections import defaultdict def attribute_based_split(data, label_key='label', ratios=[0.7, 0.2, 0.1]): """ 根据特定属性（如标签）对数据进行分割。 参数: data (list of dict): 包含键值对形式的数据集合。 label_key (str): 属性名称，默认为 'label'。 ratios (list of float): 划分比例。 返回: tuple: 训练集、验证集和测试集。 """ grouped_data = defaultdict(list) for item in data: grouped_data[item[label_key]].append(item) all_splits = {key: random_split(value, ratios) for key, value in grouped_data.items()} combined_train = sum((splits[0] for splits in all_splits.values()), []) combined_val = sum((splits[1] for splits in all_splits.values()), []) combined_test = sum((splits[2] for splits in all_splits.values()), []) return combined_train, combined_val, combined_test # 示例用法 data_with_labels = [{'value': v, 'label': l} for v, l in zip(range(1, 101), ['A']*50 + ['B']*50)] train_set, val_set, test_set = attribute_based_split(data_with_labels) print("训练集中 A 类样本数:", sum(1 for d in train_set if d['label'] == 'A')) ``` --- #### 文件分割 对于大规模文件，可以通过逐行读取的方式将其拆分为若干较小的部分[^3]。这种策略特别适合处理无法一次性加载到内存中的大型日志或其他文本型文件。 下面是具体的实现方案： ```python def split_large_file(input_filename, output_prefix, lines_per_chunk=10): """ 将大文件分割成多份小文件。 参数: input_filename (str): 输入的大文件路径。 output_prefix (str): 输出的小文件命名前缀。 lines_per_chunk (int): 每个小文件包含的行数。 """ chunk_index = 0 current_lines = [] with open(input_filename, 'r') as infile: for line_number, line_content in enumerate(infile, start=1): current_lines.append(line_content.strip()) if line_number % lines_per_chunk == 0 or not line_content.strip(): with open(f"{output_prefix}_part_{chunk_index}.txt", 'w') as outfile: outfile.write("\n".join(current_lines)) current_lines.clear() chunk_index += 1 if current_lines: with open(f"{output_prefix}_part_{chunk_index}.txt", 'w') as outfile: outfile.write("\n".join(current_lines)) # 示例调用 split_large_file('example.log', 'splitted_example', lines_per_chunk=50) ``` --- #### 列表分割 如果目标是对一维数组或者列表执行固定长度的切割，则可采用如下函数完成任务[^4]： ```python def group_list(lst, size): """ 把列表按照固定的尺寸分组。 参数: lst (list): 被分割的目标列表。 size (int): 每一组所容纳的最大数量。 返回: generator object: 可迭代对象，每次返回一个子列表。 """ return (lst[pos:pos + size] for pos in range(0, len(lst), size)) # 测试样例 original_list = ["item%d" % num for num in range(1, 21)] grouped_result = list(group_list(original_list, 5)) for idx, sub_group in enumerate(grouped_result, start=1): print(f"第{idx}组:", sub_group) ``` ---