### 使用 BeautifulSoup 解析 HTML 的简单示例网站教程 以下是使用 BeautifulSoup 解析 HTML 的简单实例，结合 Python 的 `requests` 库获取网页内容，并通过 BeautifulSoup 提取所需数据。 #### 1. 安装依赖库 在开始之前，请确保已安装 `beautifulsoup4` 和 `requests` 库。可以通过以下命令安装[^1]： ```bash pip install beautifulsoup4 requests ``` #### 2. 示例代码 以下是一个完整的示例，展示如何使用 BeautifulSoup 解析网页中的标题和段落内容： ```python import requests from bs4 import BeautifulSoup # 设置目标 URL url = 'https://example.com' # 替换为实际需要解析的网站地址 # 发送 HTTP 请求获取网页内容 response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: # 使用 BeautifulSoup 解析页面内容 soup = BeautifulSoup(response.text, 'html.parser') # 使用 html.parser 作为解析器[^2] # 提取网页标题 title = soup.title.string if soup.title else "无标题" print(f"网页标题: {title}") # 提取所有段落文本 paragraphs = soup.find_all('p') for i, p in enumerate(paragraphs): print(f"段落 {i + 1}: {p.get_text()}") else: print("无法访问网页") ``` #### 3. 示例说明 - **导入库**：首先导入 `requests` 和 `BeautifulSoup`。 - **发送请求**：通过 `requests.get()` 方法向目标网站发送 HTTP 请求。 - **解析内容**：将响应内容传递给 BeautifulSoup 并指定解析器（如 `html.parser`）。 - **提取数据**：通过 `.find()` 或 `.find_all()` 方法查找特定标签或属性，例如 `<title>` 和 `<p>` 标签。 #### 4. 常用方法 以下是一些常用的 BeautifulSoup 方法及其功能： | 方法名 | 功能 | |--------|------| | `.find()` | 查找第一个匹配的标签 | | `.find_all()` | 查找所有匹配的标签 | | `.get_text()` | 提取标签内的纯文本 | | `.attrs` | 获取标签的所有属性 | --- ### 注意事项 - 确保目标网站允许爬虫访问，遵守 [robots.txt](https://www.robotstxt.org/) 文件中的规则。 - 在解析复杂网页时，可能需要结合 CSS 选择器或正则表达式来精确定位所需数据。