以下是一个使用Python编写的具备图片、文字、代码块、超链接爬取功能的爬虫代码示例，这里使用`requests`库来发送HTTP请求，`BeautifulSoup`库来解析HTML内容。 ```python import requests from bs4 import BeautifulSoup import os def crawl_website(url): try: # 发送HTTP请求 response = requests.get(url) response.raise_for_status() # 检查请求是否成功 # 使用BeautifulSoup解析HTML soup = BeautifulSoup(response.text, 'html.parser') # 爬取文字 text = soup.get_text() print("爬取到的文字内容：") print(text) # 爬取超链接 links = [] for link in soup.find_all('a'): href = link.get('href') if href: links.append(href) print("爬取到的超链接：") print(links) # 爬取图片 images = [] if not os.path.exists('images'): os.makedirs('images') for img in soup.find_all('img'): src = img.get('src') if src: if not src.startswith('http'): src = url + src try: img_response = requests.get(src) img_response.raise_for_status() img_name = os.path.join('images', src.split('/')[-1]) with open(img_name, 'wb') as f: f.write(img_response.content) images.append(src) except requests.RequestException as e: print(f"图片下载失败: {src}, 错误信息: {e}") print("爬取到的图片链接：") print(images) # 爬取代码块（假设代码块在<pre>标签中） code_blocks = [] for pre in soup.find_all('pre'): code = pre.get_text() code_blocks.append(code) print("爬取到的代码块：") print(code_blocks) except requests.RequestException as e: print(f"请求出错: {e}") except Exception as e: print(f"发生错误: {e}") if __name__ == "__main__": target_url = "https://example.com" # 替换为你要爬取的目标网址 crawl_website(target_url) ``` ### 代码说明： 1. **发送HTTP请求**：使用`requests.get`方法发送HTTP请求，并检查请求是否成功。 2. **解析HTML**：使用`BeautifulSoup`库将HTML内容解析为树形结构，方便后续提取信息。 3. **爬取文字**：使用`soup.get_text()`方法获取网页中的所有文字内容。 4. **爬取超链接**：通过`soup.find_all('a')`找到所有的`<a>`标签，并提取其`href`属性。 5. **爬取图片**：通过`soup.find_all('img')`找到所有的`<img>`标签，并下载图片保存到本地的`images`文件夹中。 6. **爬取代码块**：假设代码块在`<pre>`标签中，通过`soup.find_all('pre')`找到所有的`<pre>`标签，并提取其文本内容。 ### 注意事项： - 请确保你已经安装了`requests`和`beautifulsoup4`库，可以使用以下命令进行安装： ```sh pip install requests beautifulsoup4 ``` - 爬取网站时需要遵守网站的`robots.txt`规则，避免对网站造成不必要的负担。