### 如何使用 Python 爬虫抓取网页中的文本和图片 为了实现从包含文本和图片的网页中进行爬取的任务，可以采用 `requests` 库来获取网页内容，并借助 `BeautifulSoup` 来解析 HTML 文档。对于图片下载，则可利用 `urllib.request.urlretrieve()` 函数。 #### 获取并解析网页内容 ```python import requests from bs4 import BeautifulSoup url = 'http://example.com' response = requests.get(url) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') else: print(f"Failed to retrieve the webpage. Status code: {response.status_code}") ``` 此部分代码用于发起 HTTP 请求访问指定 URL 并接收服务器返回的内容；如果状态码为 200 表明请求成功，则继续执行后续逻辑[^1]。 #### 提取网页中的文本信息 一旦获得了整个页面的 HTML 结构之后，就可以定位到特定标签内的纯文本： ```python text_elements = [] for paragraph in soup.find_all('p'): text_elements.append(paragraph.get_text()) full_text = '\n'.join(text_elements) print(full_text) ``` 上述脚本遍历所有的 `<p>` 标签并将它们内部的文字连接成一段完整的字符串输出。 #### 下载网页上的所有图像 要保存远程站点上展示的所有图片至本地磁盘，需先收集每张图对应的链接地址，再逐一调用 `urlretrieve()` 方法完成实际传输过程： ```python import os from urllib.parse import urljoin from urllib.request import urlretrieve image_dir = './images/' os.makedirs(image_dir, exist_ok=True) img_tags = soup.find_all('img') for img_tag in img_tags: try: image_url = urljoin(url, img_tag['src']) filename = os.path.basename(image_url) filepath = os.path.join(image_dir, filename) if not os.path.exists(filepath): urlretrieve(image_url, filepath) print(f'Downloaded {filename}') except Exception as e: print(f'Error downloading {image_url}:', str(e)) ``` 这段程序会创建一个名为 "images" 的目录用来存放所下载下来的文件，并处理相对路径转换等问题以确保能够正确识别每一个资源的位置[^4]。