### Python爬虫实现当当网畅销书榜单URL及图片爬取 为了完成这一目标，可以采用`Selenium`或者`Scrapy`框架来构建强大的爬虫程序。以下是两种方法的具体实现方式。 #### 方法一：基于 Selenium 的实现 利用 `Selenium` 可以模拟浏览器行为并动态加载页面数据，适合处理 JavaScript 渲染的内容。以下是一个完整的代码示例： ```python from selenium import webdriver from selenium.webdriver.common.by import By import time import requests from PIL import Image from io import BytesIO def download_image(image_url, save_path): """下载图片""" response = requests.get(image_url) img_data = BytesIO(response.content) image = Image.open(img_data) image.save(save_path) def crawl_dangdang_books_selenium(): options = webdriver.ChromeOptions() options.add_argument('--headless') # 设置无头模式 driver = webdriver.Chrome(options=options) base_url = "http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}" book_list = [] for page in range(1, 6): # 假设抓取前5页的数据 print(f"正在爬取第 {page} 页...") url = base_url.format(page=page) driver.get(url) time.sleep(3) # 等待页面渲染 books = driver.find_elements(By.CSS_SELECTOR, ".bang_list li") # 定位书籍列表项 for idx, book in enumerate(books): rank = book.find_element(By.CLASS_NAME, "list_num").text.strip(".") title = book.find_element(By.CSS_SELECTOR, ".name a").get_attribute("title") author = book.find_element(By.CSS_SELECTOR, ".publisher_info:nth-child(1)").text price = book.find_element(By.CLASS_NAME, "price_n").text # 获取封面图片链接 cover_img = book.find_element(By.CSS_SELECTOR, ".pic img").get_attribute("src") # 下载封面图片到本地 local_save_path = f"./images/{rank}_{title}.jpg" download_image(cover_img, local_save_path) book_item = { "排名": rank, "书名": title, "作者": author, "价格": price, "封面图片路径": local_save_path } book_list.append(book_item) driver.quit() return book_list if __name__ == "__main__": result = crawl_dangdang_books_selenium() for r in result[:5]: print(r) ``` 此代码实现了对当当网畅销书榜单的多页爬取，并支持自动下载每本书籍的封面图片[^1]。 --- #### 方法二：基于 Scrapy 的实现 如果希望使用更高效的爬虫框架，则可以选择 `Scrapy` 来开发。下面提供了一个简单的 `Scrapy` 实现方案： ##### 创建项目结构 运行命令创建一个新的 Scrapy 项目： ```bash scrapy startproject dangdang_spider cd dangdang_spider ``` 编辑 `spiders/dangdang.py` 文件如下： ```python import scrapy from ..items import DangdangItem from urllib.parse import urlencode class DangdangSpider(scrapy.Spider): name = 'dangdang' allowed_domains = ['bang.dangdang.com'] def start_requests(self): base_url = "http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-recent7-0-0-1-{page}" for page in range(1, 6): # 抓取前5页 url = base_url.format(page=page) yield scrapy.Request(url=url, callback=self.parse) def parse(self, response): books = response.css(".bang_list li") for book in books: item = DangdangItem() item["rank"] = book.css(".list_num::text").extract_first().strip(".") item["title"] = book.css(".name a::attr(title)").extract_first() item["author"] = book.css(".publisher_info:nth-child(1)::text").extract_first() item["price"] = book.css(".price .price_n::text").extract_first() # 提取封面图片 URL 并保存 cover_img_url = book.css(".pic img::attr(src)").extract_first() if cover_img_url.startswith("//"): cover_img_url = "https:" + cover_img_url item["image_urls"] = [cover_img_url] yield item ``` 配置 `pipelines.py` 处理图片存储逻辑： ```python import os from scrapy.pipelines.images import ImagesPipeline from scrapy.exceptions import DropItem class CustomImagePipeline(ImagesPipeline): def file_path(self, request, response=None, info=None, *, item=None): image_guid = request.url.split("/")[-1] return f"{item['rank']}_{item['title']}.{image_guid.split('.')[-1]}" def item_completed(self, results, item, info): image_paths = [x["path"] for ok, x in results if ok] if not image_paths: raise DropItem("Item contains no images") return item ``` 最后，在 `settings.py` 中启用管道和图像存储功能： ```python ITEM_PIPELINES = {'dangdang_spider.pipelines.CustomImagePipeline': 1} IMAGES_STORE = './images/' ``` 启动爬虫即可执行任务： ```bash scrapy crawl dangdang -o books.csv ``` 以上代码能够高效地抓取当当网畅销书榜单中的书籍信息以及对应的封面图片[^2]。 --- #### 数据可视化扩展 对于获取到的数据，还可以进一步分析其特征，比如绘制折扣比例分布图等。参考以下 Pyecharts 示例代码： ```python from pyecharts.charts import Bar from pyecharts import options as opts data_x = ["<8折", "8~9折", ">=9折"] data_y = [120, 80, 40] chart = Bar(init_opts=opts.InitOpts(width="1200px", height="600px")) chart.add_xaxis(data_x) chart.add_yaxis( series_name="数量", y_axis=data_y, label_opts=opts.LabelOpts(is_show=True, position="top"), ) chart.set_global_opts( title_opts=opts.TitleOpts(title="折扣比例分布图", pos_left="center"), legend_opts=opts.LegendOpts(is_show=False), ) chart.render("./charts/折扣比例分布图.html") ``` 这一步骤有助于直观展示数据特性[^3]。 --- #### 总结 无论是通过 `Selenium` 还是 `Scrapy` 开发爬虫，都可以成功获取当当网畅销书榜单的相关信息及其封面图片。具体选择取决于实际需求和技术偏好。