### 实现Python爬虫抓取当当网图书信息并存储为CSV 为了完成这一目标，可以采用多种方法和技术栈组合。下面介绍一种基于`requests`库和`lxml`库中的XPath技术的方法来获取网页内容，并利用`pandas`库将数据保存成CSV文件。 #### 准备工作 安装必要的第三方模块： ```bash pip install requests lxml pandas openpyxl ``` #### 获取HTML源码 构建请求头模拟浏览器行为访问网站，发送GET请求得到响应体即为目标页面的HTML文档字符串。 ```python import requests url = 'http://bang.dangdang.com/books/bestsellers' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url=url, headers=headers) html_text = response.text print(html_text[:100]) # 打印前100字符用于验证是否成功获取到了HTML代码 ``` #### 解析HTML结构提取所需字段 定义函数parse_book_info()接收单个<li>标签作为参数返回字典形式的一本书籍详情；遍历所有<li>标签调用此函数收集列表books[]内含多本不同书籍的信息字典。 ```python from lxml import etree def parse_book_info(li_tag): book_name = li_tag.xpath('.//a/@title')[0].strip() author = li_tag.xpath('.//div[@class="publisher_info"]/a/text()') price = float(li_tag.xpath('.//span[@class="price_n"]/text()')[0][1:]) return {"book_name": book_name, "author": ''.join(author).strip(), "price": price} tree = etree.HTML(html_text) li_list = tree.xpath('//ul/li') books = [] for li in li_list: books.append(parse_book_info(li)) ``` #### 数据存入Pandas DataFrame再导出CSV 创建DataFrame对象df_books传入之前准备好的books数组，指定列名以便后续操作更加直观易懂；最后通过to_csv()方法把整个表格写出到磁盘上成为持久化文件。 ```python import pandas as pd columns = ["书名", "作者", "价格"] df_books = pd.DataFrame(data=books, columns=["book_name", "author", "price"]) df_books.to_csv('douban_top_250.csv', index=False, encoding='utf-8-sig') ``` 上述过程展示了如何运用Python编写简单的网络爬虫程序从特定URL地址处采集公开可获得的数据资源，并妥善处理这些非结构化的原始资料使之转换为易于理解且便于进一步加工分析的形式——CSV格式电子表格文件[^2]。