### 头歌平台 Python 实验十三 网页爬虫教程 #### 一、实验目的 通过本实验，学生能够掌握Python编程语言在网络数据抓取方面的基本技能。了解如何利用`requests`库获取网页内容以及使用`BeautifulSoup`解析HTML文档结构。 #### 二、所需工具与环境配置 为了顺利完成此次实验，在开始之前需准备好如下工作环境： - 安装最新版本的Python解释器（推荐3.x以上） - 使用集成开发环境IDE如PyCharm Community Edition来编写代码[^2] 对于本次实验而言，还需要安装两个重要的第三方库： ```bash pip install requests beautifulsoup4 ``` #### 三、基础概念介绍 ##### (1) Requests 库简介 Requests 是一个用于发送HTTP请求的强大而简洁的库。它允许开发者轻松地向服务器发起GET/POST等类型的请求并处理响应的数据流。 ##### (2) BeautifulSoup 解析器概述 BeautifulSoup 提供了一种非常方便的方式来遍历DOM树形结构中的标签节点，并从中提取有用的信息。其支持多种解析引擎，默认情况下会选择最佳选项自动完成任务。 #### 四、具体操作流程 假设目标是从某网站上抓取特定页面内的所有链接地址作为练习案例，则可以按照下面的方式实现这一功能： 1. 导入必要的模块； 2. 构建URL字符串表示待访问的目标网址； 3. 发送GET请求给该站点以获得完整的HTML源码文本； 4. 创建BS对象实例化传入上述返回的内容； 5. 利用find_all()方法定位所有的<a>标记； 6. 对每一个找到的结果迭代输出href属性对应的值即为所求链接列表项。 以下是具体的代码片段展示： ```python import requests from bs4 import BeautifulSoup def fetch_links(url): try: response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') links = [] for link in soup.find_all('a'): href = link.get('href') if href and not href.startswith('#') and "javascript:" not in href.lower(): links.append(href) return links except Exception as e: print(f"Error occurred while fetching {url}: ", str(e)) return [] if __name__ == "__main__": url_to_scrape = input("Enter URL to scrape:") result = fetch_links(url_to_scrape) print("\nFound Links:\n") for idx, item in enumerate(result, start=1): print(f"{idx}. {item}") ``` 此段程序实现了从指定位置读取超链集合的功能，同时做了简单的异常捕获机制防止意外情况发生影响正常运行逻辑[^1]。