在Python中读取TXT文件并构建数据结构，核心在于根据文件内容格式选择相应的解析方法，最终生成列表、字典、NumPy数组等结构以方便后续处理[ref_5]。以下是几种典型场景的详细处理方法。 ### 一、 读取为二维列表（2D List） 适用于文件内容为规整的纯文本数据，每行代表一条记录，记录内由特定分隔符（如空格、逗号、制表符）分隔[ref_3]。使用基础的文件读取和字符串操作即可实现。 ```python def read_txt_to_2d_list(file_path, delimiter=None): """ 将TXT文件读取为二维列表。 :param file_path: 文件路径 :param delimiter: 分隔符，默认为None（按空格分割） :return: 二维列表 """ data_2d = [] with open(file_path, 'r', encoding='utf-8') as file: for line in file: # 去除行尾换行符，并按指定分隔符分割 stripped_line = line.strip() if stripped_line: # 跳过空行 if delimiter: row = stripped_line.split(delimiter) else: row = stripped_line.split() # 默认按任意空白字符分割 data_2d.append(row) return data_2d # 示例：读取以制表符分隔的TXT文件 file_path = 'data.txt' two_dimensional_list = read_txt_to_2d_list(file_path, delimiter='\t') print(two_dimensional_list) ``` ### 二、 读取为字典（Dictionary） 适用于文件内容为“键=值”对（如`username=admin`）或两列映射关系（如`key1 value1`）的情况[ref_2][ref_4]。通过解析每行内容构建字典。 ```python def read_txt_to_dict(file_path, delimiter='=', key_index=0, value_index=1): """ 将TXT文件读取为字典。 :param file_path: 文件路径 :param delimiter: 分隔符，默认为'=' :param key_index: 分割后作为键的索引 :param value_index: 分割后作为值的索引 :return: 字典 """ data_dict = {} with open(file_path, 'r', encoding='utf-8') as file: for line in file: stripped_line = line.strip() if stripped_line and not stripped_line.startswith('#'): # 跳过空行和注释 parts = stripped_line.split(delimiter) if len(parts) >= 2: key = parts[key_index].strip() value = parts[value_index].strip() data_dict[key] = value return data_dict # 示例1：读取 `key=value` 格式文件 config_dict = read_txt_to_dict('config.txt', delimiter='=') print(config_dict) # 示例2：读取两列（如用户名和分数）格式文件，构建查询字典[ref_2] def build_lookup_dict(file_path): lookup = {} with open(file_path, 'r') as f: for line in f: username, score = line.strip().split() # 假设用空格分隔 lookup[username] = score return lookup ``` ### 三、 读取为NumPy数组（NumPy Array） 适用于需要进行数值计算、矩阵操作或科学计算的场景。`numpy.loadtxt` 是高效且功能强大的选择[ref_5][ref_6]。 ```python import numpy as np # 场景1：读取规整的数值数据到二维NumPy数组 def read_txt_to_numpy_array(file_path, delimiter=None, dtype=float): """ 使用numpy读取TXT文件为数组。 :param file_path: 文件路径 :param delimiter: 分隔符，如 ',', '\t', ' ' :param dtype: 数据类型，如 int, float :return: numpy.ndarray """ data_array = np.loadtxt(file_path, delimiter=delimiter, dtype=dtype) return data_array # 示例：读取逗号分隔的数值文件 array_data = read_txt_to_numpy_array('matrix.csv', delimiter=',', dtype=float) print(array_data.shape) # 打印数组形状 # 场景2：数据转置处理（例如将行数据转为列数据以便分析）[ref_6] transposed_data = array_data.T # 使用.T属性进行转置 print("转置后的数组：\n", transposed_data) # 场景3：处理非规整数据或需要跳过表头 data_with_header = np.genfromtxt('data_with_header.txt', delimiter='\t', skip_header=1, filling_values=0) ``` ### 四、 高级与批量处理 对于复杂场景，如批量处理多个文件或数据清洗，需要结合更多技巧。 1. **批量遍历目录读取多个TXT文件**[ref_1] ```python import os def batch_read_txt_from_dir(directory_path, delimiter=None): all_data = {} for filename in os.listdir(directory_path): if filename.endswith('.txt'): file_path = os.path.join(directory_path, filename) # 选择上述任一种方法读取，例如读取为2D列表 data = read_txt_to_2d_list(file_path, delimiter) all_data[filename] = data return all_data ``` 2. **数据匹配与查询** 将文件A读为字典，然后查询文件B中的内容，输出匹配结果[ref_2]。 ```python def match_and_save(query_file_path, source_dict, match_output_path, no_match_output_path): with open(query_file_path, 'r') as qf, \ open(match_output_path, 'w') as match_f, \ open(no_match_output_path, 'w') as no_match_f: for line in qf: key = line.strip() if key in source_dict: # 字典查找效率O(1) match_f.write(f"{key}\t{source_dict[key]}\n") else: no_match_f.write(f"{key}\n") ``` ### 五、 方法对比与选择建议 下表总结了不同方法的核心特点与适用场景： | 数据结构 | 核心方法/库 | 主要优点 | 典型应用场景 | 注意事项 | | :--- | :--- | :--- | :--- | :--- | | **二维列表** | `open()` + `split()` | 内置函数，无需额外库，灵活可控 | 文本解析、简单格式转换、非数值数据处理 | 需手动处理数据类型转换和空值 | | **字典** | `open()` + `split()` + 字典推导 | 键值对映射，查询效率高（O(1)） | 配置文件读取、数据映射与快速查找、构建索引 | 需确保键的唯一性；文件格式需有明确分隔 | | **NumPy数组** | `numpy.loadtxt()` / `numpy.genfromtxt()` | 强大的数值计算能力，支持向量化操作，内存高效 | 科学计算、矩阵运算、机器学习数据加载 | 要求数据格式相对规整；适合数值型数据 | 选择建议： * 若数据为规整的**纯数值矩阵**且后续涉及数学运算，**首选NumPy数组**[ref_5][ref_6]。 * 若数据为**键值对**或需要**快速查找映射**，应选择**字典**[ref_2][ref_4]。 * 若数据格式**不规则**、主要为**文本处理**，或希望**避免引入外部依赖**，使用**二维列表**最为灵活[ref_1][ref_3]。 * 对于**批量文件处理**，可结合`os`模块遍历目录，并视情况选择上述数据结构[ref_1]。