### 解决 Python 非 UTF-8 编码错误 当处理非 UTF-8 编码文件时，可能会遇到编码错误。例如，读取包含 `\x8f` 的字节序列可能导致解码失败。以下是解决方案： #### 使用指定编码读取文件 可以通过设置正确的编码来避免此类问题。如果已知文件的编码类型，则可以在打开文件时指定该编码。 ```python with open('file.txt', 'r', encoding='latin1') as f: # 假设文件使用 latin1 编码 content = f.read() ``` 如果不确定文件的具体编码，可以先检测其编码类型[^1]。 --- #### 忽略或替换非法字符 如果不关心丢失少量数据，可以选择忽略无法解码的字符或将它们替换为替代符（如 `?`）。 ```python # 忽略非法字符 with open('file.txt', 'r', encoding='utf-8', errors='ignore') as f: content = f.read() # 替换非法字符 with open('file.txt', 'r', encoding='utf-8', errors='replace') as f: content = f.read() ``` 上述方法通过参数 `errors='ignore'` 或 `errors='replace'` 来控制异常行为[^3]。 --- #### 转换文件编码至 UTF-8 如果希望将整个文件转换为 UTF-8 编码，可按如下方式操作： ```python import chardet def convert_to_utf8(input_file, output_file): raw_data = open(input_file, 'rb').read() # 以二进制模式读取原始数据 detected_encoding = chardet.detect(raw_data)['encoding'] or 'latin1' decoded_text = raw_data.decode(detected_encoding, errors='replace') encoded_text = decoded_text.encode('utf-8') with open(output_file, 'wb') as f: f.write(encoded_text) convert_to_utf8('input.txt', 'output.txt') ``` 此脚本利用 `chardet` 库自动检测输入文件的编码并将其转换为 UTF-8。 --- #### 处理写入 Beautiful Soup 输出的情况 如果正在使用 BeautifulSoup 并需要保存 HTML 文件为特定编码，可以直接在 `.prettify()` 方法中指定编码选项。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') pretty_html = soup.prettify(encoding='utf-8') # 将输出强制转为 utf-8 with open('output.html', 'wb') as f: # 注意这里使用 wb 模式 f.write(pretty_html) ``` 这一步确保即使原文件不是 UTF-8 编码，最终输出也会统一为 UTF-8。 ---