### Python 中读取文件时出现 `UnicodeDecodeError` 的解决方案 当在 Python 中尝试读取文件并遇到 `UnicodeDecodeError: 'gbk' codec can't decode byte` 错误时，这通常表明程序试图以不匹配的编码方式解码文件中的某些字节序列。具体来说，该错误可能由以下几个因素引起： 1. **默认编码冲突**：如果未指定编码参数，则 Python 默认会使用系统的本地编码（通常是 GBK 或 UTF-8）。然而，实际文件的内容可能是另一种编码格式。 2. **特殊字符处理不当**：文件中可能存在无法被目标编码解析的特殊字符或不可见字符。 #### 问题分析 此错误的核心在于文件的实际编码与程序所使用的解码方法之间的不一致[^1]。例如，在 Windows 平台上，默认可能会使用 GBK 编码来打开文件，但如果文件实际上是 UTF-8 编码或者包含一些特殊的多字节字符（如 `\xa0`），就会引发上述异常。 为了有效解决问题，可以采取以下措施之一： --- ### 方法一：显式设置正确的编码格式 通过修改 `open()` 函数调用时的 `encoding` 参数，确保其与文件的真实编码相匹配。以下是调整后的代码示例： ```python def load_data(filename): D = [] try: with open(filename, 'r', encoding='utf-8') as f: # 显式指明 utf-8 编码 for i, line in enumerate(f): data = json.loads(line.strip()) text, label = data['sentence'], data['label'] D.append((text, labels.index(label))) except UnicodeDecodeError as e: print(f"发生错误 {e}，请确认文件编码是否正确") return D ``` 在此处，我们强制将文件按照 UTF-8 进行解读[^3]。如果仍然出现问题，可进一步测试其他常见编码形式（如 GBK、ISO-8859-1 等）。 --- ### 方法二：忽略非法字符 对于那些确实存在但又不影响整体逻辑的非法字符，可以选择跳过它们而不中断整个流程。可以通过向 `open()` 添加额外参数实现这一点： ```python with open(filename, 'r', encoding='utf-8', errors='ignore') as f: ... ``` 这里的 `errors='ignore'` 表示任何无法识别的字符都将被简单丢弃而不会抛出异常[^2]。不过需要注意的是，这种方法可能导致数据丢失部分信息，因此仅适用于对精确度要求较低的情况。 --- ### 方法三：检测未知编码 假如不确定源文件的确切编码类型，可以借助第三方库自动探测它。推荐使用 chardet 库完成这项工作： 安装命令： ```bash pip install chardet ``` 应用实例： ```python import chardet def detect_encoding_and_read_file(filename): rawdata = open(filename, 'rb').read() result = chardet.detect(rawdata) enc = result['encoding'] with open(filename, 'r', encoding=enc) as f: content = f.read() return content ``` 这段脚本先利用 `chardet` 探测到最有可能的编码名称，再据此重新加载文档内容。 --- ### 总结建议 针对不同场景下的需求，可以从以上三种策略里挑选适合自己的方案加以实施。优先考虑明确设定合适的编码选项；其次才是容忍少量误差或是动态适应多种可能性。