在网页爬虫的开发中，XPath、正则表达式、BeautifulSoup 和 Scrapy 是常用的工具和技术。它们可以用于提取网页中的结构化数据，尽管各自适用的场景和语法有所不同。以下示例展示如何使用这些技术从一个假设的网页中提取课程名称和链接信息。 ### 使用 XPath 提取信息 XPath 是一种用于导航 XML 文档的语言，常用于解析 HTML 内容。以下是一个使用 `lxml` 库结合 XPath 提取课程信息的示例： ```python from lxml import html import requests url = 'https://example.com/courses' response = requests.get(url) tree = html.fromstring(response.content) # 提取所有课程链接和名称 courses = tree.xpath('//div[@class="course-list"]/a') for course in courses: name = course.xpath('.//text()')[0] link = course.xpath('./@href')[0] print(f"课程名称: {name}, 链接: {link}") ``` 该代码首先获取网页内容，并将其转换为可解析的树结构，然后使用 XPath 表达式选择特定节点进行提取 [^2]。 --- ### 使用正则表达式提取信息 正则表达式是一种强大的文本匹配工具，适用于非结构化的文本内容。以下示例使用 Python 的 `re` 模块提取相同的课程信息： ```python import re import requests url = 'https://example.com/courses' response = requests.get(url) content = response.text # 正则表达式匹配课程名称和链接 pattern = r'<a href="(.*?)" class="course-link">(.*?)</a>' matches = re.findall(pattern, content) for match in matches: link, name = match print(f"课程名称: {name}, 链接: {link}") ``` 通过定义适当的正则表达式模式，可以从 HTML 中提取所需的信息 [^3]。 --- ### 使用 BeautifulSoup 提取信息 BeautifulSoup 是 Python 的一个库，专门用于解析 HTML 和 XML 文档，适合初学者入门。以下是使用 BeautifulSoup 提取课程信息的示例： ```python import requests from bs4 import BeautifulSoup url = 'https://example.com/courses' response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 查找所有课程链接 courses = soup.find_all('a', class_='course-link') for course in courses: name = course.get_text() link = course['href'] print(f"课程名称: {name}, 链接: {link}") ``` BeautifulSoup 通过标签和类名查找元素，提供了更直观的方法来处理 HTML 内容 [^4]。 --- ### 使用 Scrapy 框架提取信息 Scrapy 是一个功能强大的爬虫框架，适用于大规模的数据抓取任务。以下是使用 Scrapy 提取相同课程信息的示例： ```python import scrapy class CourseSpider(scrapy.Spider): name = 'course_spider' start_urls = ['https://example.com/courses'] def parse(self, response): for course in response.xpath('//div[@class="course-list"]/a'): yield { 'name': course.xpath('.//text()').get(), 'link': course.xpath('./@href').get(), } ``` 在 Scrapy 中，可以通过定义 Spider 类并重写 `parse` 方法来提取数据。此方法适合构建复杂的爬虫项目 [^1]。 --- ###