### 使用 Python 和 BeautifulSoup 提取网页纯文本内容 当需要从网页中提取纯净的文本内容而忽略 HTML 标签时，可以充分利用 BeautifulSoup 的内置方法 `get_text()` 来实现这一需求。此方法会自动移除所有 HTML 标记并返回干净的文本[^1]。 下面是一个完整的解决方案示例： #### 安装依赖库 确保已安装必要的库： ```bash pip install beautifulsoup4 requests ``` #### 示例代码 以下代码展示了如何抓取指定 URL 的网页内容，并从中提取纯文本部分： ```python import requests from bs4 import BeautifulSoup # 请求目标网页 url = "https://example.com" # 替换为实际的目标网址 headers = {'User-Agent': 'Mozilla/5.0'} # 设置请求头以模拟浏览器访问 response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"无法加载页面 {url}, HTTP状态码: {response.status_code}") # 解析HTML文档 soup = BeautifulSoup(response.content, 'html.parser') # 提取纯文本内容 plain_text = soup.get_text(separator="\n") # 使用换行符分隔不同的段落 # 打印或保存结果 print(plain_text[:500]) # 输出前500个字符作为预览 with open("output.txt", "w", encoding="utf-8") as file: file.write(plain_text) ``` --- ### 方法解释 - **获取响应内容**：通过 `requests` 库发起 GET 请求获取网页 HTML 数据[^2]。 - **创建 Soup 对象**：使用 `BeautifulSoup` 构造器解析 HTML 字符串，便于后续操作。 - **提取纯文本**：调用 `get_text()` 方法可快速去除所有 HTML 标签，只保留可见的文字信息[^3]。参数 `separator="\n"` 可自定义段落间的分隔符，默认为空字符串。 - **存储到文件**：最终将提取的结果写入本地 TXT 文件以便查看或进一步分析。 --- ### 注意事项 如果遇到某些特殊场景（如嵌套 JavaScript 动态渲染的内容），单纯依靠 Requests 和 BeautifulSoup 可能无法满足需求，则建议改用 Selenium 或 Pyppeteer 这类支持执行 JS 的工具来捕获完全渲染后的页面再做处理[^4]。 ---