### 使用 Python 制作爬虫工具的详细教程 制作一个 Python 爬虫工具需要结合多个库和模块，以下是一个完整的解决方案，涵盖从发送请求到解析数据的整个流程。 #### 1. 发送 HTTP 请求 使用 `requests` 库可以轻松地向目标网站发送 HTTP 请求。以下是一个示例代码，展示如何获取网页内容[^5]。 ```python import requests url = "https://www.python.org" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } try: response = requests.get(url, headers=headers) response.raise_for_status() # 检查请求是否成功 print(response.status_code) # 输出状态码 print(response.text) # 输出网页内容 except requests.exceptions.RequestException as e: print(f"请求失败: {e}") ``` #### 2. 解析 HTML 内容 解析 HTML 内容可以使用 `BeautifulSoup` 库，它能够方便地提取所需信息[^4]。 ```python from bs4 import BeautifulSoup html_content = response.text soup = BeautifulSoup(html_content, 'html.parser') # 提取所有标题标签 titles = soup.find_all('h1') for title in titles: print(title.get_text()) ``` #### 3. 处理动态页面 对于动态加载的内容，可以使用 `Selenium` 或 `Playwright` 模拟浏览器行为[^1]。 ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By service = Service(executable_path="path/to/chromedriver") driver = webdriver.Chrome(service=service) try: driver.get("https://example.com") dynamic_content = driver.find_element(By.TAG_NAME, "h1").text print(dynamic_content) finally: driver.quit() ``` #### 4. 数据存储 抓取到的数据可以通过多种方式存储，例如保存为文件或写入数据库。 ```python # 保存为文本文件 with open("data.txt", "w", encoding="utf-8") as file: file.write(dynamic_content) # 写入 SQLite 数据库 import sqlite3 conn = sqlite3.connect("data.db") cursor = conn.cursor() cursor.execute("CREATE TABLE IF NOT EXISTS articles (title TEXT)") cursor.execute("INSERT INTO articles (title) VALUES (?)", (dynamic_content,)) conn.commit() conn.close() ``` #### 5. 分布式爬虫 如果需要处理大量数据，可以考虑使用分布式爬虫框架，如 Scrapy[^1]。 ```python import scrapy class ExampleSpider(scrapy.Spider): name = "example" start_urls = ["https://example.com"] def parse(self, response): for title in response.css("h1::text").getall(): yield {"title": title} ``` ### 注意事项 - 遵守目标网站的 robots.txt 文件规定。 - 设置合理的请求间隔，避免对服务器造成过大压力。 - 使用代理 IP 和用户代理池以降低被封禁的风险[^1]。