在这个当当网畅销书排行榜页面（http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-），我们可以抓取书籍的相关信息，比如排名、书名、作者、价格等。以下是详细的抓取步骤和示例代码。 --- ### 第一步：分析网页结构 打开该网址后，右键点击“检查”进入开发者工具查看源码，定位到我们需要的信息所在的HTML标签及属性。例如： - **排名**：通过 `<li>` 元素的位置确定。 - **书名**：位于 `div[@class='name'] > a` 中的文本内容。 - **作者**：位于 `div[@class='publisher_info'] > a` 的第一个超链接内的文本。 - **当前价**：位于 `p[@class='price_n'] > span[@class='search_now_price']` 内部的文字。 - **原价**：可以在 `span[@class='search_pre_price']` 找到折扣前的价格。 - **评论数**：由 `div[@class='star'] > a[@class='search_comment_num']` 包含的具体数字给出。 相应地构造XPath表达式如下表所示： | 需求 | XPath路径 | |------|-------------------------------------------------------------------------------------------| | 排名 | `(//ul/li)` | | 书名 | `.//div[@class='name']/a/text()` | | 作者 | `.//div[@class='publisher_info']/a[1]/@title` | | 当前价| `.//p[@class='price']/span[@class='search_now_price']/text()` | | 原价 | `.//p[@class='price']/span[@class='search_pre_price']/text()` | 注意以上为大致参考，请根据实际解析结果调整细节部分匹配规则。 --- ### 第二步：编写Python脚本进行抓取 我们使用 Python 结合 requests 和 lxml 库来进行网络请求与 DOM 解析操作。 ```python import requests from lxml import etree url = 'http://bang.dangdang.com/books/bestsellers/01.00.00.00.00.00-24hours-0-0-1-' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers).content.decode('gbk') html = etree.HTML(response) books_list = [] for book_li in html.xpath("//ul[@class='bigimg']/li"): rank = books_list.index(book_li)+1 if len(books_list)>0 else '' name = "".join(book_li.xpath('.//div[@class="name"]/a/text()')).strip().replace("\n","").replace(" ","") author = "".join(book_li.xpath('.//div[@class="publisher_info"]/a[1]/@title')) price_current = "".join(book_li.xpath('.//p[@class="price"]/span[@class="search_now_price"]/text()')).strip() price_original = "".join(book_li.xpath('.//p[@class="price"]/span[@class="search_pre_price"]/text()')).strip() one_book = {"rank":rank,"book_name":name,"author":author,"current_price":price_current,"original_price":price_original} books_list.append(one_book) # 输出抓取的结果 for b in books_list[:5]: print(b) ``` 此段程序能够成功获取指定范围之内的书籍基本信息列表。 ---