### Python爬虫抓取外文网站时的编码解决方案 当使用 `requests` 和 `BeautifulSoup` 抓取外文网站时，可能会遇到网页乱码的问题。这通常是因为服务器返回的数据未正确解码为合适的字符集所致。以下是详细的解决方案： #### 1. 使用正确的编码方式 在请求页面数据后，可以通过检测响应头中的 `Content-Type` 字段来获取推荐的编码方式[^1]。如果该字段不存在或者不准确，则可以手动指定编码。 ```python import requests from bs4 import BeautifulSoup url = "https://example.com" response = requests.get(url) # 如果 Content-Type 中有 charset 参数则优先使用它 if 'charset' in response.headers.get('content-type', '').lower(): encoding = response.encoding else: # 尝试通过 chardet 或 cchardet 自动检测编码 from chardet import detect detected_encoding = detect(response.content)['encoding'] if detected_encoding is not None: response.encoding = detected_encoding ``` #### 2. 手动设置编码 有时自动检测可能失败，在这种情况下可以根据目标站点的实际编码标准强制设定编码[^2]。例如许多欧洲语言使用的 UTF-8 而亚洲地区常用 GBK/GB2312 等。 ```python response.encoding = 'utf-8' soup = BeautifulSoup(response.text, 'html.parser') ``` 对于某些特殊场景下仍存在乱码的情况，可尝试其他常见编码如 ISO-8859-1、Windows-1252 等直到找到合适的一个为止。 #### 3. 利用 Beautiful Soup 进一步优化解析过程 即使已经设置了正确的编码，但在实际操作过程中仍然可能出现异常情况下的空白输出等问题。此时可以在创建 `BeautifulSoup` 对象的时候再次确认输入字符串已转换成 Unicode 形式[^3]: ```python soup = BeautifulSoup(response.text.encode('latin1').decode('utf-8'), 'lxml') ``` 上述方法适用于部分因传输层原因导致原始 HTML 文本被错误解释的情形。 #### 完整示例代码 下面提供了一个完整的脚本来演示如何处理此类问题: ```python import requests from bs4 import BeautifulSoup from chardet import detect def fetch_page(url): try: resp = requests.get(url) # Detect and set proper encoding content_type_header = resp.headers.get('content-type','').lower() if 'charset=' in content_type_header: resp.encoding = content_type_header.split('charset=')[1].strip() else: raw_data = resp.content[:min(1024,len(resp.content))] guessed_charset = detect(raw_data).get('encoding') if guessed_charset: resp.encoding = guessed_charset return resp.text except Exception as e: print(f"Error fetching {url}: ", str(e)) return "" text = fetch_page("http://foreignsite.example/") if text: soup = BeautifulSoup(text,'html.parser') tags = [] for div_tag in soup.find_all("div", class_="col-md-4"): total_value = "" next_sib = div_tag.find(string="Total").parent while True: sib = next_sib.next_sibling if isinstance(sib,str): continue elif hasattr(sib,"name") and (sib.name == "br"): break else: total_value += sib.strip()+" " next_sib=sib tags.append(total_value.rstrip()) print(tags) ```