### Python 爬虫抓取网页时中文内容不输出的解决方案 当遇到Python爬虫抓取网页时中文内容无法正常显示的情况，通常是因为编码设置不当所致。为了确保能够正确处理和展示中文字符，在发送HTTP请求以及解析HTML文档的过程中需要注意指定正确的编码方式。 #### 设置正确的编码格式 在使用`requests`库获取网页内容之后，应当先尝试通过`.encoding`属性来设定响应对象的编码为UTF-8或其他适合目标网站使用的编码标准： ```python import requests from bs4 import BeautifulSoup url = 'https://example.com' # 替换成实际的目标网址 response = requests.get(url) # 显式指定期望的内容编码为 UTF-8 或其他适当编码 response.encoding = 'utf-8' if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') print(soup.prettify()) else: print('Failed to retrieve the webpage') ``` #### 处理乱码问题 如果仍然存在乱码现象，则可能需要进一步调查服务器返回的实际编码是什么样的，并据此调整本地解码逻辑。可以利用`chardet`库自动检测网页的真实编码： ```python import chardet import requests from bs4 import BeautifulSoup def detect_encoding(content_bytes): detected_info = chardet.detect(content_bytes) encoding = detected_info['encoding'] confidence = detected_info['confidence'] * 100 return f"{encoding} (Confidence: {confidence:.2f}%)" url = 'https://example.com' response = requests.get(url) detected_enc = detect_encoding(response.content) print(f'Detected Encoding: {detected_enc}') try: content = response.content.decode(detected_enc.split()[0].lower(), errors='replace') except LookupError as e: print("Unsupported or invalid encoding:", str(e)) content = response.content.decode('latin1', errors='replace') soup = BeautifulSoup(content, 'html.parser') print(soup.prettify()) ``` 上述方法可以帮助识别并适配不同站点所采用的具体编码规则，从而有效避免因编码差异而导致的数据丢失或错误渲染等问题[^1]。