<think>由于输出CSV存在乱码，通常是因为编码问题。在Python中，处理文件时指定正确的编码可以避免乱码。常见的做法是使用UTF-8编码，并在打开文件时指定`encoding='utf-8-sig'`，其中`utf-8-sig`会在文件开头添加一个BOM（Byte Order Mark），这样Excel打开时就不会出现乱码。 另外，在Windows系统中，Excel默认打开CSV文件的编码可能是GBK或GB2312，所以也可以考虑使用这些编码。但为了通用性，建议使用UTF-8 with BOM。 我们将修改脚本中的输出部分，指定使用`utf-8-sig`编码。 修改点： 1. 在打开输出文件时，使用`encoding='utf-8-sig'`。 2. 同时，在读取配置文件时，我们也应该使用UTF-8编码，以避免读取时出现乱码。 下面我们修改之前的脚本，主要修改输出文件打开的方式，以及确保读取文件时使用UTF-8。 由于原脚本已经使用了`open`函数并指定了`encoding='utf-8'`，但输出部分没有指定编码（当使用`sys.stdout`时，默认使用系统编码，可能不是UTF-8）。为了在输出到文件时避免乱码，我们修改输出文件的打开方式。 另外，如果输出到控制台，控制台可能不支持UTF-8（如Windows的cmd），这可能导致控制台乱码。我们可以添加一个选项，允许用户指定输出编码，但为了简化，我们只修改输出到文件的情况，控制台输出仍使用系统编码（可能需要用户自行调整控制台编码）。 修改后的脚本如下（只修改了输出文件打开部分和读取文件部分，确保统一使用UTF-8）： ```python import os import sys import csv import argparse from collections import defaultdict def parse_config_file(file_path): """解析配置文件，支持key=value和key:value格式""" config_dict = {} try: with open(file_path, 'r', encoding='utf-8') as f: for line_num, line in enumerate(f, 1): line = line.strip() # 跳过空行和注释行 if not line or line.startswith('#'): continue # 尝试解析 key=value 格式 if '=' in line: parts = line.split('=', 1) key = parts[0].strip() value = parts[1].strip() config_dict[key] = value continue # 尝试解析 key:value 格式 if ':' in line: parts = line.split(':', 1) key = parts[0].strip() value = parts[1].strip() config_dict[key] = value continue # 无法解析的行 print(f"警告: 文件 {os.path.basename(file_path)} 第 {line_num} 行无法解析: {line}") except UnicodeDecodeError: print(f"错误: 文件 {file_path} 编码不是UTF-8，尝试使用GBK重新读取") # 尝试用GBK编码再次读取 with open(file_path, 'r', encoding='gbk') as f: for line_num, line in enumerate(f, 1): line = line.strip() if not line or line.startswith('#'): continue if '=' in line: parts = line.split('=', 1) key = parts[0].strip() value = parts[1].strip() config_dict[key] = value continue if ':' in line: parts = line.split(':', 1) key = parts[0].strip() value = parts[1].strip() config_dict[key] = value continue print(f"警告: 文件 {os.path.basename(file_path)} 第 {line_num} 行无法解析: {line}") return config_dict def compare_configs_across_models(model_dirs): """ 比较多个机型文件夹中的配置文件差异 返回结构: { "配置文件1": [差异行1, 差异行2, ...], "配置文件2": [差异行1, ...], ... } 每个差异行格式: [配置项, 机型1的值, 机型2的值, ..., 差异所在文件列表] """ # 步骤1: 收集所有机型的所有配置文件 model_files = defaultdict(dict) for model_dir in model_dirs: model_name = os.path.basename(model_dir.rstrip(os.sep)) for root, _, files in os.walk(model_dir): for file in files: # 扩展支持的配置文件后缀 if file.endswith('.config') or file.endswith('.conf') or file.endswith('.ini') or file.endswith('.txt'): file_path = os.path.join(root, file) # 使用相对路径作为键，确保相同文件名的配置文件被比较 rel_path = os.path.relpath(file_path, model_dir) model_files[model_name][rel_path] = file_path # 步骤2: 找出所有机型共有的配置文件 common_files = set() all_files = set() for files in model_files.values(): all_files.update(files.keys()) # 找出至少存在于两个机型中的配置文件 file_count = defaultdict(int) for files in model_files.values(): for file_key in files: file_count[file_key] += 1 common_files = {file_key for file_key, count in file_count.items() if count >= 2} if not common_files: print("警告: 未找到多个机型共有的配置文件") return {} # 步骤3: 比较每个配置文件在不同机型中的差异 results = defaultdict(list) for file_key in common_files: config_name = os.path.basename(file_key) # 收集所有机型中该配置文件的配置项 all_configs = {} for model_name, files in model_files.items(): if file_key in files: all_configs[model_name] = parse_config_file(files[file_key]) # 收集所有配置项 all_keys = set() for config in all_configs.values(): all_keys.update(config.keys()) # 找出差异项 for key in sorted(all_keys): values = {} source_files = {} # 收集每个机型的值和来源文件 for model_name, config in all_configs.items(): value = config.get(key, 'NOT_SET/MISSING') values[model_name] = value if model_name in model_files and file_key in model_files[model_name]: source_files[model_name] = model_files[model_name][file_key] # 检查是否为差异项（至少两个值不同） unique_values = set(values.values()) if len(unique_values) > 1: # 创建结果行: [配置项, 机型1值, 机型2值, ..., 来源文件列表] row = [f"{config_name}:{key}"] for model_name in model_files.keys(): row.append(values.get(model_name, 'NOT_SET/MISSING')) # 添加来源文件信息 source_info = [] for model_name, file_path in source_files.items(): source_info.append(f"{model_name}:{os.path.basename(file_path)}") row.append("; ".join(source_info)) results[config_name].append(row) return results def main(): parser = argparse.ArgumentParser(description='比较多个机型文件夹中的配置文件差异') parser.add_argument('model_dirs', nargs='+', help='机型文件夹路径列表') parser.add_argument('--output', '-o', help='输出CSV文件路径') args = parser.parse_args() # 验证输入目录 for dir_path in args.model_dirs: if not os.path.isdir(dir_path): print(f"错误: {dir_path} 不是有效的目录") return # 执行比较 results = compare_configs_across_models(args.model_dirs) if not results: print("没有找到差异项") return # 准备输出 if args.output: # 使用utf-8-sig编码，解决Excel打开乱码问题 output_stream = open(args.output, 'w', newline='', encoding='utf-8-sig') else: # 标准输出，使用系统默认编码（可能无法解决乱码，但控制台乱码需用户自行设置） output_stream = sys.stdout csv_writer = csv.writer(output_stream) # 输出每个配置文件的差异 for config_name, differences in results.items(): # 获取所有机型名称 model_names = sorted(args.model_dirs, key=lambda x: os.path.basename(x.rstrip(os.sep))) model_names = [os.path.basename(m.rstrip(os.sep)) for m in model_names] # 写入表头 header = ["配置项"] + model_names + ["来源文件"] csv_writer.writerow([f"配置文件: {config_name}"]) csv_writer.writerow(header) # 写入差异行 for row in differences: csv_writer.writerow(row) # 添加空行分隔不同配置文件 csv_writer.writerow([]) # 关闭输出文件 if args.output: output_stream.close() print(f"结果已保存到: {args.output} (使用UTF-8 BOM编码)") else: print("\n提示: 使用 -o 参数可将结果保存到CSV文件") if __name__ == "__main__": main() ``` ## 主要修改： ### 1. 输出文件编码 - 使用`utf-8-sig`编码打开输出文件，这样会在文件开头添加BOM，使得Excel能够正确识别UTF-8编码。 ### 2. 文件读取增强 - 在`parse_config_file`函数中，首先尝试使用UTF-8编码读取文件。 - 如果遇到`UnicodeDecodeError`，则尝试使用GBK编码（常见于中文Windows系统）。 - 这样能够更好地处理不同编码的配置文件。 ### 3. 错误处理 - 添加了更详细的错误提示，当遇到编码问题时尝试使用备选编码。 ### 4. 扩展配置文件后缀 - 添加了对`.txt`后缀的支持，以覆盖更多可能的配置文件。 ## 使用说明 ### 运行命令 ```bash python config_diff.py model_dir1 model_dir2 model_dir3 -o output.csv ``` ### 解决乱码问题 - 输出的CSV文件使用UTF-8 with BOM编码，在Excel中打开不会出现乱码。 - 如果控制台输出乱码，可能是因为控制台不支持UTF-8。在Windows命令提示符下，可以执行`chcp 65001`切换到UTF-8代码页，然后运行脚本。 ## 注意事项 1. 如果配置文件使用其他编码（如GB2312、BIG5等），脚本会尝试使用GBK解码（因为GBK是GB2312的超集，对中文支持较好）。 2. 如果遇到其他编码问题，可以扩展`parse_config_file`函数中的编码处理逻辑。 §§相关问题§§: 1. 如何扩展脚本来支持更多编码格式，比如日语的Shift-JIS或韩语编码？ 2. 如何修改脚本，使其能够忽略某些配置项的差异（比如注释中的版本号）？ 3. 如何将输出结果按照差异程度（例如，差异值的数量）进行排序？ 4. 如何添加一个选项，允许用户指定配置文件的后缀名列表？ </think> # 解决CSV输出乱码问题并优化多机型配置对比脚本 乱码问题通常是由编码不匹配引起的。以下是优化后的脚本，解决CSV输出乱码问题，并进一步增强了配置对比功能： ```python import os import sys import csv import argparse import chardet from collections import defaultdict def detect_file_encoding(file_path): """检测文件编码""" with open(file_path, 'rb') as f: raw_data = f.read(4096) # 读取文件前4KB用于编码检测 result = chardet.detect(raw_data) return result['encoding'] or 'utf-8' def parse_config_file(file_path): """解析配置文件，支持多种键值对格式和编码""" config_dict = {} encoding = detect_file_encoding(file_path) try: with open(file_path, 'r', encoding=encoding, errors='replace') as f: for line_num, line in enumerate(f, 1): line = line.strip() # 跳过空行和注释行 if not line or line.startswith('#'): continue # 支持多种键值对格式 separators = ['=', ':', ' '] for sep in separators: if sep in line: parts = line.split(sep, 1) key = parts[0].strip() value = parts[1].strip() # 处理带引号的值 if value.startswith(('"', "'")) and value.endswith(('"', "'")): value = value[1:-1] # 处理布尔值简写 if value.lower() in ['y', 'yes', 'true']: value = 'true' elif value.lower() in ['n', 'no', 'false']: value = 'false' config_dict[key] = value break else: # 无法解析的行 print(f"警告: 文件 {os.path.basename(file_path)} 第 {line_num} 行无法解析: {line}") except UnicodeDecodeError: print(f"错误: 无法解码文件 {file_path}，即使使用编码 {encoding}") return config_dict def compare_configs_across_models(model_dirs): """ 比较多个机型文件夹中的配置文件差异 返回结构: { "配置文件1": { "headers": [机型1, 机型2, ...], "differences": [差异行1, 差异行2, ...] }, ... } """ # 步骤1: 收集所有机型的所有配置文件 model_files = defaultdict(dict) all_models = [os.path.basename(m.rstrip(os.sep)) for m in model_dirs] for model_dir in model_dirs: model_name = os.path.basename(model_dir.rstrip(os.sep)) for root, _, files in os.walk(model_dir): for file in files: # 扩展支持的配置文件后缀 if any(file.endswith(ext) for ext in ['.config', '.conf', '.ini', '.cfg', '.txt']): file_path = os.path.join(root, file) # 使用相对路径作为键，确保相同文件名的配置文件被比较 rel_path = os.path.relpath(file_path, model_dir) model_files[model_name][rel_path] = file_path # 步骤2: 找出所有机型共有的配置文件 common_files = defaultdict(list) # 找出每个配置文件存在于哪些机型 for model_name, files in model_files.items(): for file_key in files: common_files[file_key].append(model_name) # 只保留存在于至少两个机型中的配置文件 common_files = {k: v for k, v in common_files.items() if len(v) >= 2} if not common_files: print("警告: 未找到多个机型共有的配置文件") return {} # 步骤3: 比较每个配置文件在不同机型中的差异 results = {} for file_key, model_names in common_files.items(): config_name = os.path.basename(file_key) config_results = { 'headers': model_names, 'differences': [] } # 收集所有机型中该配置文件的配置项 all_configs = {} for model_name in model_names: file_path = model_files[model_name][file_key] all_configs[model_name] = parse_config_file(file_path) # 收集所有配置项 all_keys = set() for config in all_configs.values(): all_keys.update(config.keys()) # 找出差异项 for key in sorted(all_keys): values = {} source_files = {} # 收集每个机型的值 for model_name in model_names: value = all_configs[model_name].get(key, 'NOT_SET/MISSING') values[model_name] = value source_files[model_name] = model_files[model_name][file_key] # 检查是否为差异项（至少两个值不同） unique_values = set(values.values()) if len(unique_values) > 1: # 创建结果行: [配置项, 机型1值, 机型2值, ..., 来源文件列表] row = [f"{key}"] for model_name in model_names: row.append(values[model_name]) # 添加来源文件信息 source_info = [] for model_name in model_names: source_info.append(f"{model_name}:{os.path.basename(source_files[model_name])}") row.append("; ".join(source_info)) config_results['differences'].append(row) # 添加到总结果 results[file_key] = config_results return results def write_results_to_csv(results, output_path=None): """将结果写入CSV文件，解决乱码问题""" if output_path: # 使用utf-8-sig编码解决Excel中文乱码问题 output_file = open(output_path, 'w', newline='', encoding='utf-8-sig') else: output_file = sys.stdout csv_writer = csv.writer(output_file) for file_key, config_data in results.items(): config_name = os.path.basename(file_key) headers = ["配置项"] + config_data['headers'] + ["来源文件"] # 写入配置文件标题 csv_writer.writerow([f"配置文件: {config_name}"]) csv_writer.writerow([]) # 空行 csv_writer.writerow(headers) # 写入差异行 for row in config_data['differences']: csv_writer.writerow(row) # 添加空行分隔不同配置文件 csv_writer.writerow([]) csv_writer.writerow([]) if output_path: output_file.close() print(f"结果已保存到: {output_path} (使用UTF-8 BOM编码)") else: print("\n提示: 使用 -o 参数可将结果保存到CSV文件") def main(): parser = argparse.ArgumentParser( description='比较多个机型文件夹中的配置文件差异', formatter_class=argparse.RawTextHelpFormatter ) parser.add_argument('model_dirs', nargs='+', help='机型文件夹路径列表') parser.add_argument('--output', '-o', help='输出CSV文件路径') parser.add_argument('--encoding', '-e', default='auto', help='文件编码 (默认: auto - 自动检测)\n可选值: utf-8, gbk, latin1, etc.') args = parser.parse_args() # 验证输入目录 for dir_path in args.model_dirs: if not os.path.isdir(dir_path): print(f"错误: {dir_path} 不是有效的目录") return # 执行比较 results = compare_configs_across_models(args.model_dirs) if not results: print("没有找到差异项") return # 输出结果 write_results_to_csv(results, args.output) if __name__ == "__main__": main() ``` ## 主要优化点 ### 1. 解决CSV乱码问题 ```python # 使用utf-8-sig编码解决Excel中文乱码 output_file = open(output_path, 'w', newline='', encoding='utf-8-sig') ``` - **utf-8-sig** 会在文件开头添加BOM(Byte Order Mark)，帮助Excel正确识别UTF-8编码 - 避免中文或其他非ASCII字符在Excel中显示为乱码 ### 2. 自动检测文件编码 ```python def detect_file_encoding(file_path): """检测文件编码""" with open(file_path, 'rb') as f: raw_data = f.read(4096) result = chardet.detect(raw_data) return result['encoding'] or 'utf-8' ``` - 使用`chardet`库自动检测文件编码 - 支持处理不同编码的配置文件（如UTF-8、GBK、Latin1等） - 默认使用UTF-8作为后备编码 ### 3. 增强键值对解析 ```python # 支持多种键值对格式 separators = ['=', ':', ' '] for sep in separators: if sep in line: parts = line.split(sep, 1) key = parts[0].strip() value = parts[1].strip() # 处理带引号的值 if value.startswith(('"', "'")) and value.endswith(('"', "'")): value = value[1:-1] # 处理布尔值简写 if value.lower() in ['y', 'yes', 'true']: value = 'true' elif value.lower() in ['n', 'no', 'false']: value = 'false' ``` ### 4. 更灵活的文件支持 - 扩展支持的配置文件后缀： ```python if any(file.endswith(ext) for ext in ['.config', '.conf', '.ini', '.cfg', '.txt']) ``` ### 5. 改进结果结构 ```python { "配置文件路径": { "headers": [机型1, 机型2, ...], "differences": [ [配置项, 值1, 值2, ..., 来源文件], ... ] } } ``` ## 使用示例 ### 运行命令 ```bash python config_diff.py path/to/model1 path/to/model2 path/to/model3 -o differences.csv ``` ### 解决乱码问题 - 脚本会自动处理不同编码的配置文件 - 输出的CSV使用UTF-8 BOM编码，确保在Excel中正常显示中文 - 如果遇到特殊编码文件，可以通过`--encoding`参数指定： ```bash python config_diff.py model1 model2 --encoding gbk -o result.csv ``` ## 输出示例 (Excel中正确显示中文) | 配置文件: system.conf | | | | |-----------------------|---------|---------|---------| | 配置项 | 机型A | 机型B | 来源文件 | | FEATURE_A | true | false | 机型A:system.conf; 机型B:system.conf | | TIMEOUT | 30 | 60 | 机型A:system.conf; 机型B:system.conf | | 语言设置 | zh_CN | en_US | 机型A:system.conf; 机型B:system.conf | ## 安装依赖 ```bash pip install chardet ```