### 解析和提取包含重复字段的多表格数据 要实现从 `.log` 文件中解析并提取包含重复字段的多表格数据，可以采用以下方法： #### 方法概述 1. 使用 Python 的 `pandas` 库处理结构化数据。 2. 利用正则表达式匹配表头和记录行。 3. 针对合并单元格的情况，可以通过逻辑判断填充缺失的数据。 以下是具体实现方式： --- #### 步骤一：读取 .log 文件内容 通过 Python 的内置模块 `re` 和 `open()` 函数读取日志文件的内容，并将其按行分割以便后续分析。 ```python import re import pandas as pd def read_log_file(file_path): with open(file_path, 'r', encoding='utf-8') as file: lines = file.readlines() return [line.strip() for line in lines if line.strip()] ``` 此函数会返回一个列表，其中每一项代表日志文件的一行有效内容[^3]。 --- #### 步骤二：定义正则表达式模式 为了识别表头和记录行，需设计合适的正则表达式。假设每张表都有固定的开头标记（如 `"Table"`），并且字段名可能重复，则可使用如下正则表达式： ```python table_header_pattern = r'^Table\s+(\w+)\s*:\s*(.*)$' record_row_pattern = r'^\|(.*)\|$' ``` 解释： - `table_header_pattern`: 匹配表头信息，捕获表名称以及字段描述。 - `record_row_pattern`: 匹配带有竖线分隔符的记录行。 这些正则表达式可以根据实际的日志格式调整[^4]。 --- #### 步骤三：解析日志文件 遍历日志文件的每一行，利用上述正则表达式提取表头和记录行，并存储到临时变量中。 ```python def parse_tables(lines): tables_data = [] current_table_name = None headers = [] for line in lines: header_match = re.match(table_header_pattern, line) record_match = re.match(record_row_pattern, line) if header_match: # 如果遇到新的表头，保存当前表数据并初始化新表 if current_table_name and headers: tables_data.append((current_table_name, headers)) headers = [] current_table_name = header_match.group(1).strip() elif record_match: fields = [field.strip() for field in record_match.group(1).split('|')] headers.append(fields) # 添加最后一个表 if current_table_name and headers: tables_data.append((current_table_name, headers)) return tables_data ``` 该函数将返回一个元组列表 `(表名称, 表数据)`[^5]。 --- #### 步骤四：处理重复字段 对于存在重复字段的情况，在转换为 DataFrame 前需要重命名列名以避免冲突。例如，可通过追加索引来区分同名字段。 ```python def create_dataframe(headers, records): columns = list(set(headers[0])) # 获取唯一列名 # 处理重复字段 column_map = {} new_columns = [] for col in headers[0]: count = column_map.get(col, 0) + 1 column_map[col] = count if count > 1: new_col = f"{col}_{count}" else: new_col = col new_columns.append(new_col) data = {new_columns[i]: [] for i in range(len(new_columns))} for row in records: for idx, value in enumerate(row): data[new_columns[idx]].append(value) return pd.DataFrame(data) ``` 此部分代码确保即使有重复字段也能正确生成 DataFrame[^6]。 --- #### 完整流程示例 综合以上各步，提供完整的脚本供参考： ```python if __name__ == "__main__": log_lines = read_log_file('example.log') parsed_tables = parse_tables(log_lines) for table_name, (headers, records) in parsed_tables: df = create_dataframe(headers, records) print(f"Table Name: {table_name}") print(df.head()) ``` ---