### 使用Python编写的简单爬虫示例 为了创建一个简单的Python爬虫，可以利用`requests`库获取网页内容，并通过`BeautifulSoup`解析HTML文档。下面提供了一个具体实例，该实例旨在抓取指定网站上的课程列表[^1]。 #### 安装所需库 首先需安装必要的第三方库，可以通过pip命令完成： ```bash pip install requests beautifulsoup4 ``` #### 编写爬虫代码 接下来是完整的Python脚本，它会访问目标URL并提取特定信息： ```python import requests from bs4 import BeautifulSoup def fetch_courses(url): response = requests.get(url) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.text, 'html.parser') courses = [] for course_item in soup.select('.course-item'): title = course_item.find('h2').get_text(strip=True) description = course_item.find('p', class_='description').get_text(strip=True) courses.append({ 'title': title, 'description': description }) return courses if __name__ == '__main__': url = 'https://example.com/courses' # 替换为目标网址 try: fetched_courses = fetch_courses(url) for idx, course in enumerate(fetched_courses[:5], start=1): # 只打印前五个作为演示 print(f"{idx}. Title: {course['title']}, Description: {course['description']}") except Exception as e: print(e) ``` 此段代码定义了函数`fetch_courses()`用于发送HTTP请求到给定的URL地址，随后使用BeautifulSoup对象`soup`来定位页面内的`.course-item`元素，从中抽取标题和描述文字形成字典列表返回。最后，在主程序部分调用了上述方法并对结果进行了处理输出。