在使用 Python 爬虫提取网页中的固定数据时，通常会涉及解析 HTML 或 XML 文档，并从中定位和提取所需的数据。常见的做法是结合 `requests` 发起 HTTP 请求并获取页面内容，再利用 `BeautifulSoup` 或 `lxml` 等解析库进行数据提取。 以下是一个完整的示例，展示如何从网页中提取固定结构的数据（例如商品名称和价格）： ### 示例代码：提取网页中的固定数据 ```python import requests from bs4 import BeautifulSoup # 定义目标URL url = 'https://example.com/products' # 发送HTTP请求 response = requests.get(url) # 检查请求是否成功 if response.status_code == 200: # 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(response.text, 'html.parser') # 假设每个产品信息包含在 <div class="product"> 中 products = soup.find_all('div', class_='product') # 遍历每个产品并提取数据 for product in products: name = product.find('h2').get_text(strip=True) price = product.find('span', class_='price').get_text(strip=True) print(f'商品名称: {name}, 价格: {price}') else: print(f'请求失败，状态码：{response.status_code}') ``` ### 说明： - `requests.get()` 用于发送 HTTP GET 请求以获取网页内容。 - `BeautifulSoup` 用于解析 HTML，并通过标签和类名查找元素。 - `find_all()` 可以获取所有符合条件的 HTML 元素，适合处理列表形式的数据。 - `get_text(strip=True)` 提取文本内容并去除空白字符。 如果目标网页内容是通过 JavaScript 动态加载的，则可以考虑使用 `Selenium` 或 `Playwright` 来模拟浏览器行为[^4]。 --- ### 示例输出（假设网页中有如下结构）： ```html <div class="product"> <h2>商品A</h2> <span class="price">¥99.99</span> </div> <div class="product"> <h2>商品B</h2> <span class="price">¥199.99</span> </div> ``` 程序将输出： ``` 商品名称: 商品A, 价格: ¥99.99 商品名称: 商品B, 价格: ¥199.99 ``` ---