### 使用Python爬虫抓取当当网图书数据并进行数据分析 #### 抓取过程概述 为了从当当网获取书籍信息，可以采用Python编程语言及其生态系统内的多个库来构建一个高效的网络爬虫。此过程涉及到了`requests`用于发起HTTP请求，`lxml`负责解析HTML文档结构，而像`pandas`这样的工具则用来处理所收集的数据[^2]。 #### 实现代码示例 下面是一个简单的例子展示如何编写一段脚本来执行上述任务： ```python import requests from lxml import etree import pandas as pd def fetch_book_data(keyword, page_number): url = f"http://search.dangdang.com/?key={keyword}&act=input&page_index={page_number}" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url=url, headers=headers) tree = etree.HTML(response.text) titles = [] authors = [] prices = [] for item in range(1, 61): # 假设每页最多有60本书籍条目 try: title_path = f'//*[@id="component_59"]/li[{item}]/p[1]/a/@title' author_path = f'//*[@id="component_59"]/li[{item}]/p[3]' price_path = f'//*[@id="component_59"]/li[{item}]/p[7]/span[1]' title = tree.xpath(title_path)[0].strip() author = ''.join(tree.xpath(author_path).xpath('string(.)')).replace('\n', '').strip().split('/')[-1] price = float(tree.xpath(price_path)[0].text.strip()) titles.append(title) authors.append(author) prices.append(price) except Exception as e: break df = pd.DataFrame({ "Title": titles, "Author": authors, "Price": prices }) return df if __name__ == "__main__": keyword = input("请输入要查询的关键字:") pages_to_crawl = int(input("请输入需要爬取的页面数量:")) all_books_df = pd.concat([fetch_book_data(keyword, i) for i in range(1, pages_to_crawl + 1)]) print(f"共抓取{len(all_books_df)}条记录") output_file_name = f"{keyword}_books.xlsx" with pd.ExcelWriter(output_file_name) as writer: all_books_df.to_excel(writer, sheet_name='Sheet1') print(f"已保存至文件 {output_file_name}") ``` 这段代码定义了一个名为`fetch_book_data()`的功能函数，它接受关键词参数和指定要访问的具体页面编号，并返回包含该页面上所有匹配项的结果DataFrame对象。最后，在主程序部分实现了批量调用这个功能并将最终结果导出为Excel表格的操作[^3]。 #### 数据分析初步探索 一旦获得了足够的样本量之后就可以开始着手做进一步的研究工作了。比如可以通过统计学方法了解不同类别下最受欢迎的作品有哪些？或者是观察价格分布情况找出性价比最高的商品推荐给读者们。对于时间序列类别的属性（如果有的话），还可以尝试绘制趋势图来看待某些特定时间段内销售变化规律等。