Python中的数据读取，指的是使用Python语言及其相关库，将存储在各种格式（如文本、电子表格、数据库、串口设备、网络协议等）中的数据加载到内存中，并转换为程序可处理的数据结构（如列表、字典、NumPy数组、Pandas DataFrame等）的过程。这是数据处理、分析和应用开发的起点和基础环节 [ref_6]。 数据读取的核心在于根据**数据源类型**和**存储格式**选择合适的工具与方法。Python生态为此提供了极其丰富的库支持。 ### 一、常见数据源与对应读取方法 | 数据源/格式 | 典型场景 | 核心Python库 | 关键方法/函数 | | :--- | :--- | :--- | :--- | | **文本文件** | 日志、配置文件、简单数据交换 | 内置 `open()`、`csv`、`pandas` | `open().read()`、`csv.reader()`、`pd.read_csv()` [ref_6] | | **电子表格** | 业务报表、实验数据 | `pandas`、`openpyxl`、`xlrd` | `pd.read_excel()` [ref_3][ref_6] | | **二进制/科学数据** | 气象、地理、遥感数据 | `netCDF4`、`xarray` | `netCDF4.Dataset()`、`xarray.open_dataset()` [ref_5] | | **关系型数据库** | 业务系统数据、用户数据 | `sqlite3`、`pymysql`、`sqlalchemy` | `cursor.execute()`、`pd.read_sql()` | | **非关系型数据库** | 日志、文档、缓存 | `pymongo`、`redis` | `find()`、`get()` | | **串口/硬件设备** | 工业控制、传感器数据采集 | `pyserial` (serial) | `serial.Serial()`、`.readline()` [ref_2][ref_4] | | **网络协议** | 工业物联网、设备监控 | `pymodbus`、`requests`、`socket` | `ModbusTcpClient.read_holding_registers()` [ref_1] | | **API接口** | 获取网络服务数据 | `requests`、`aiohttp` | `requests.get()` | ### 二、核心方法与库详解 #### 1. 文件系统数据读取 对于存储在本地或网络文件系统中的数据，`pandas` 库是事实上的标准，它提供了统一且高效的接口。 **读取CSV/文本文件：** ```python import pandas as pd # 读取CSV文件，自动推断分隔符和表头 df_csv = pd.read_csv('data.csv', encoding='utf-8') # 读取制表符分隔的文本文件 df_txt = pd.read_csv('data.txt', sep='\t') # 读取无表头文件，并指定列名 df_no_header = pd.read_csv('data_no_header.csv', header=None, names=['col1', 'col2']) ``` `pd.read_csv()` 功能强大，支持指定编码、分隔符、跳过的行数、数据类型等数十个参数，是处理结构化文本数据的首选 [ref_6]。 **读取Excel文件：** ```python import pandas as pd # 读取整个Excel文件，第一个工作表 df_excel = pd.read_excel('data.xlsx', sheet_name=0, engine='openpyxl') # 读取指定工作表，并指定使用的列 df_specific = pd.read_excel('data.xlsx', sheet_name='Sheet2', usecols='A:C,E') ``` 对于 `.xlsx` 格式，推荐使用 `openpyxl` 作为引擎；对于旧版 `.xls` 格式，可使用 `xlrd` [ref_3]。`pandas` 的 `read_excel` 方法同样支持读取特定行、列以及处理缺失值。 **使用内置 `open()` 函数：** 对于非结构化文本或需要精细控制的场景，可以使用Python内置函数。 ```python # 一次性读取整个文件内容 with open('config.txt', 'r', encoding='utf-8') as f: content = f.read() # 逐行读取，适用于大文件 with open('log.txt', 'r') as f: for line in f: process_line(line.strip()) # 处理每一行 ``` #### 2. 科学数据格式读取 在气象、海洋、地学等领域，NetCDF (.nc) 是常见的数据格式。 **使用 `netCDF4` 库：** ```python import netCDF4 as nc # 打开.nc文件 dataset = nc.Dataset('temperature_data.nc', 'r') # 查看文件中的所有变量 print(dataset.variables.keys()) # 读取特定变量数据（如‘temp’） temperature_data = dataset.variables['temp'][:] # 读取变量的属性（如单位） units = dataset.variables['temp'].units dataset.close() # 记得关闭文件 ``` **使用 `xarray` 库（更高级、更便捷）：** ```python import xarray as xr # 打开数据集，xarray自动处理维度、坐标和属性 ds = xr.open_dataset('temperature_data.nc') # 直接像字典一样访问变量，或使用属性访问 temp_array = ds['temp'] # 或 ds.temp # 支持分块读取以优化大文件内存使用 ds_chunked = xr.open_dataset('large_data.nc', chunks={'time': 100}) ``` `xarray` 在 `netCDF4` 的基础上提供了更直观、类似 `pandas` 的数据操作接口，并集成了 `Dask` 以支持并行计算和内存映射，是处理多维科学数据的首选 [ref_5]。 #### 3. 硬件与工业协议数据读取 **串口通信数据读取：** 在物联网和嵌入式系统中，经常需要通过串口（RS-232/485）读取传感器或设备数据。 ```python import serial import time # 配置并打开串口 ser = serial.Serial( port='COM3', # 串口号，Linux下可能是‘/dev/ttyUSB0’ baudrate=9600, # 波特率 bytesize=serial.EIGHTBITS, # 数据位 parity=serial.PARITY_NONE, # 校验位 stopbits=serial.STOPBITS_ONE, # 停止位 timeout=1 # 读取超时时间（秒） ) if ser.is_open: try: # 发送查询指令（例如Modbus RTU查询帧） command = b'\x01\x03\x00\x00\x00\x02\xC4\x0B' ser.write(command) # 等待并读取响应数据 time.sleep(0.1) response = ser.read(7) # 读取指定字节数 # 或按行读取（如果设备以换行符结束数据） # line = ser.readline().decode('ascii').strip() print(f"收到原始数据：{response}") # 此处进行数据解析... except Exception as e: print(f"通信错误：{e}") finally: ser.close() # 务必关闭串口 ``` 核心是使用 `pyserial` (导入为 `serial`) 库创建 `Serial` 对象并进行配置，然后使用 `.read()`、`.readline()` 或 `.readlines()` 方法读取数据 [ref_2][ref_4]。 **Modbus协议读取PLC数据：** 在工业自动化中，Modbus是常用的通信协议。使用 `pymodbus` 库可以方便地读取PLC的寄存器数据。 ```python from pymodbus.client import ModbusTcpClient # 1. 建立连接 client = ModbusTcpClient('192.168.1.10', port=502, timeout=3) connection = client.connect() if connection: try: # 2. 读取保持寄存器（功能码03） # 注意：PLC地址40001对应pymodbus的address=0 result = client.read_holding_registers(address=0, count=10, slave=1) if not result.isError(): # 3. 处理读取到的数据（寄存器值列表） register_values = result.registers print(f"读取到的10个寄存器值：{register_values}") # 示例：将两个寄存器组合成一个32位整数（大端序） # 假设寄存器0是高位，寄存器1是低位 combined_value = (register_values[0] << 16) | register_values[1] print(f"组合后的32位值：{combined_value}") else: print(f"读取失败：{result}") except Exception as e: print(f"通信异常：{e}") finally: # 4. 关闭连接 client.close() else: print("无法连接到Modbus服务器") ``` 关键点在于理解Modbus的**寄存器寻址规则**（如`40001`对应`address=0`）和**功能码**（如`03`读保持寄存器，`04`读输入寄存器）[ref_1]。对于批量读取，应合理安排请求的寄存器数量和频率，并使用连接池管理多个客户端以优化性能。 ### 三、数据读取的通用考量与最佳实践 1. **编码问题**：读取文本文件时，务必指定正确的字符编码（如 `utf-8`、`gbk`），否则会出现乱码。`pandas` 的 `read_csv` 和 `read_excel` 都支持 `encoding` 参数。 2. **内存管理**：处理大型文件时，避免一次性全部读入内存。 * 使用 `pandas` 的 `chunksize` 参数进行分块读取。 * 使用 `xarray` 的 `chunks` 参数进行惰性加载。 * 使用Python迭代器逐行或逐块处理。 3. **错误处理**：数据读取过程可能遇到文件不存在、权限不足、数据格式错误、网络超时等问题，必须使用 `try...except` 语句进行异常捕获和容错处理。 4. **性能优化**： * 对于结构化数据，`pandas` 的C语言后端通常比纯Python循环快得多。 * 读取大量小文件时，考虑使用多线程或异步IO。 * 数据库查询时，使用索引并优化SQL语句。 5. **数据验证**：读取数据后，应立即进行初步检查，如查看数据形状（`df.shape`）、前几行（`df.head()`）、数据类型（`df.dtypes`）以及是否存在空值（`df.isnull().sum()`），确保数据被正确加载。 综上所述，Python中的数据读取是一个由数据源驱动的技术选型过程。掌握从普通文件、数据库到硬件接口等不同场景下的读取方法，并遵循编码、内存、错误处理等方面的最佳实践，是构建健壮数据处理流程的基础 [ref_3][ref_5][ref_6]。