将已获取的 URL 内容转换为文本的过程，主要涉及从网页响应中提取 HTML 内容，并通过解析库去除 HTML 标签和样式，最终得到可读性强的纯文本内容。以下为实现该功能的完整方案。 ### 提取网页纯文本内容 在 Python 中，可以使用 `requests` 库发送 HTTP 请求获取网页响应，并使用 `BeautifulSoup` 解析 HTML 内容以提取文本。该方法适用于大多数网页内容提取场景。 ```python import requests from bs4 import BeautifulSoup def url_to_text(url): response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') text = soup.get_text() return text ``` 此方法通过 `requests.get(url)` 获取网页的 HTML 源码，再使用 `BeautifulSoup` 的 `get_text()` 方法提取所有文本内容，去除所有 HTML 标签和样式信息[^1]。适用于网页内容分析、日志处理等文本提取需求。 ### 处理非 HTML 内容 若目标 URL 返回的是纯文本或 JSON 格式内容，则无需使用解析库，可直接提取响应中的文本内容： ```python def url_to_raw_text(url): response = requests.get(url) return response.text ``` 此方法适用于 API 接口返回的数据或非 HTML 页面的内容提取，能够避免不必要的 HTML 解析步骤，提高效率[^1]。 ### 处理包含中文字符的 URL 对于包含中文字符的 URL，需先对 URL 进行编码处理，以确保请求能正确访问目标页面。可以使用 `urllib.parse.quote()` 函数进行编码： ```python from urllib.parse import quote encoded_url = quote("https://example.com/中文路径", safe=':/') response = requests.get(encoded_url) ``` 此方法可确保中文字符在 URL 中被正确转义，防止请求失败或服务器返回 404 错误[^2]。 ### 使用 XPath 提取特定内容 若需提取网页中特定元素的文本内容，可以使用 `lxml` 库配合 XPath 表达式实现： ```python from lxml import etree def extract_with_xpath(url, xpath): response = requests.get(url) tree = etree.HTML(response.text) elements = tree.xpath(xpath) return [etree.tostring(el, encoding='unicode', method='text') for el in elements] ``` 此方法适用于需要精准提取网页中某一部分文本内容的场景，例如提取文章正文、标题、评论等[^4]。 ---