### 使用 Python 的 `requests` 库实现简单网页爬虫 要使用 Python 的 `requests` 库来爬取一个简单的网页，可以按照以下方式构建代码逻辑： #### 安装 `requests` 库 如果尚未安装 `requests` 库，则可以通过 pip 命令完成安装： ```bash pip install requests ``` #### 实现基本功能 以下是通过 `requests` 库获取目标网站数据的核心代码结构[^1]。 ```python import requests url = 'https://example.com' # 替换为目标网址 try: response = requests.get(url, timeout=10) # 设置超时时间为10秒 response.raise_for_status() # 如果响应状态码不是200，会抛出异常 content_type = response.headers['Content-Type'] # 获取返回的内容类型 if 'text/html' in content_type: # 判断是否为HTML文档 html_content = response.text # 解析并提取HTML内容 print(html_content[:500]) # 打印前500字符作为示例 except requests.exceptions.HTTPError as http_err: print(f"HTTP error occurred: {http_err}") # 处理HTTP错误 except requests.exceptions.ConnectionError as conn_err: print(f"Connection error occurred: {conn_err}") # 连接失败处理 except requests.exceptions.Timeout as time_out_err: print(f"Timeout error occurred: {time_out_err}") # 超时处理 except requests.exceptions.RequestException as req_err: print(f"An ambiguous exception occurred: {req_err}") # 其他请求异常处理 ``` 上述代码实现了对指定 URL 的 GET 请求，并尝试捕获可能发生的各种异常情况。其中，`response.raise_for_status()` 方法会在遇到非成功的 HTTP 状态码（如 4xx 或 5xx）时自动触发异常[^2]。 #### 数据解析与存储 对于某些特定需求，比如保存 HTML 文件到本地磁盘或者进一步分析其内容，可扩展如下代码片段： ```python with open('output.html', 'w', encoding='utf-8') as file: file.write(response.text) print("文件已成功写入!") ``` 此部分展示了如何将抓取的数据存入名为 `output.html` 的文件中以便后续查看或调试[^3]。 #### 注意事项 在实际应用过程中需要注意遵循目标站点的 robots 协议以及合理控制访问频率以免给服务器带来过大压力。