### 使用 Python 和 bs4 爬取网页中的图书信息 在使用 Python 的 `bs4` 库进行网页数据抓取时，需要结合 `requests` 库获取网页内容，并通过 `BeautifulSoup` 对 HTML 文档进行解析。以下是详细的方法和示例代码。 #### 1. 安装依赖库 首先需要安装 `requests` 和 `beautifulsoup4` 库。可以通过以下命令完成安装： ```bash pip install requests beautifulsoup4 ``` #### 2. 获取网页内容 使用 `requests.get()` 方法获取目标网页的 HTML 内容。例如，爬取豆瓣编程类图书页面的内容： ```python import requests url = "https://book.douban.com/tag/编程?start=0&type=T" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) html_content = response.text ``` 上述代码中设置了请求头 `User-Agent`，以模拟浏览器访问，避免被目标网站屏蔽[^2]。 #### 3. 解析 HTML 内容 将获取到的 HTML 内容传递给 `BeautifulSoup` 进行解析，并指定解析器为 `"html.parser"`： ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, "html.parser") ``` #### 4. 提取图书信息 通过分析目标网页的 HTML 结构，定位包含图书信息的标签和属性。例如，在豆瓣图书页面中，每本书的信息通常位于 `<li>` 标签内，且包含标题、作者、评分等字段。可以使用以下代码提取相关信息： ```python books = [] for item in soup.find_all("li", class_="subject-item"): title_tag = item.find("h2").find("a") title = title_tag["title"] if title_tag else "N/A" author_tag = item.find("div", class_="pub") author = author_tag.get_text(strip=True).split("/")[0] if author_tag else "N/A" rating_tag = item.find("span", class_="rating_nums") rating = rating_tag.get_text(strip=True) if rating_tag else "N/A" books.append({ "title": title, "author": author, "rating": rating }) ``` 上述代码通过 `find()` 和 `find_all()` 方法定位具体的 HTML 元素，并提取所需的文本信息[^1]。 #### 5. 保存结果 提取到的图书信息可以保存为 CSV 文件或其他格式。例如，使用 `pandas` 库保存为 CSV 文件： ```python import pandas as pd df = pd.DataFrame(books) df.to_csv("books.csv", index=False, encoding="utf-8-sig") ``` ### 示例完整代码 以下是完整的爬虫代码示例： ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置请求头 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } # 定义目标 URL base_url = "https://book.douban.com/tag/编程?start={}&type=T" # 存储图书信息 books = [] # 爬取多页数据 for start in range(0, 60, 20): # 爬取前 3 页 url = base_url.format(start) response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, "html.parser") for item in soup.find_all("li", class_="subject-item"): title_tag = item.find("h2").find("a") title = title_tag["title"] if title_tag else "N/A" author_tag = item.find("div", class_="pub") author = author_tag.get_text(strip=True).split("/")[0] if author_tag else "N/A" rating_tag = item.find("span", class_="rating_nums") rating = rating_tag.get_text(strip=True) if rating_tag else "N/A" books.append({ "title": title, "author": author, "rating": rating }) # 保存为 CSV 文件 df = pd.DataFrame(books) df.to_csv("books.csv", index=False, encoding="utf-8-sig") ```