### 不依赖 Cookie 的京东商品数据爬虫代码 以下提供了一种基于 Scrapy 框架的解决方案，该方案通过分析网页结构并提取所需信息，而不直接依赖于 Cookie。此方法主要利用 XPath 或 CSS 选择器定位页面上的元素，并将其保存到数据库中。 #### 1. 安装必要的库 首先需要安装 Scrapy 和其他可能需要用到的第三方库： ```bash pip install scrapy pymongo ``` #### 2. 创建 Scrapy 项目 创建一个新的 Scrapy 项目命名为 jd_spider： ```bash scrapy startproject jd_spider cd jd_spider ``` #### 3. 编写 Spider 类 编辑 `jd_spider/spiders/jd.py` 文件如下所示： ```python import scrapy from scrapy.linkextractors import LinkExtractor from scrapy.spiders import CrawlSpider, Rule class JDSpider(CrawlSpider): name = 'jd' allowed_domains = ['jd.com'] # 设置起始 URL 列表 def start_requests(self): urls = [ 'https://list.jd.com/list.html?cat=9987,653,655&page=1&s=59&click=0', # 示例分类下的第一页链接 ] for url in urls: yield scrapy.Request(url=url, callback=self.parse) rules = ( Rule(LinkExtractor(restrict_xpaths="//div[@id='plist']/ul/li"), callback='parse_item', follow=True), ) def parse_item(self, response): item = {} # 商品名称 item['name'] = response.xpath("//div[contains(@class,'sku-name')]/text()").get().strip() # 商品价格 item['price'] = response.css("span.price::text").get() # 商家店铺名 shop_name = response.xpath("//a[@clstag='shangpin|keycount|product|sellerNameClick']/text()").get() if not shop_name: # 如果没有找到商家名字则默认为空字符串 shop_name = "" item['shop_name'] = shop_name.strip() # 更多字段可以根据需求自行扩展... return item ``` 在此部分中定义了一个名为 `JDSpider` 的类继承自 `CrawlSpider` 并重写了几个重要属性和方法[^1]。 - **start_requests**: 返回初始请求列表。 - **rules**: 包含一组规则对象用来描述如何跟踪链接以及何时调用回调函数来解析响应内容。 - **parse_item**: 解析单个商品详情页的内容并将结果返回给引擎进一步处理。 注意这里仅选取了一些基础的信息作为演示用途，在实际应用当中可根据业务逻辑增加更多维度的数据采集项[^3]。 #### 4. 数据持久化至 MongoDB 为了让程序具备长期运行能力并且便于后续数据分析查询操作，建议将抓取下来的结果存放到 NoSQL 数据库存储系统比如 MongoDB 中去。为此我们需要修改 settings.py 添加如下配置项： ```python ITEM_PIPELINES = { 'jd_spider.pipelines.MongoPipeline': 300, } MONGO_URI = 'mongodb://localhost:27017/' MONGO_DATABASE = 'jd_goods' ``` 接着还需要新建 pipelines.py 文件实现 MongoPipeline 类完成最终入库动作： ```python import pymongo class MongoPipeline(object): collection_name = 'goods' def __init__(self, mongo_uri, mongo_db): self.mongo_uri = mongo_uri self.mongo_db = mongo_db @classmethod def from_crawler(cls, crawler): return cls( mongo_uri=crawler.settings.get('MONGO_URI'), mongo_db=crawler.settings.get('MONGO_DATABASE') ) def open_spider(self, spider): self.client = pymongo.MongoClient(self.mongo_uri) self.db = self.client[self.mongo_db] def close_spider(self, spider): self.client.close() def process_item(self, item, spider): self.db[self.collection_name].insert_one(dict(item)) return item ``` --- ### 总结 上述代码实现了从 JD.COM 抓取商品基本信息的功能，整个过程完全脱离了对 Cookies 的硬性绑定关系。同时借助管道机制把所得记录同步到了远程或者本地部署好的 MongoDB 实例之上以便后期统计汇总之需[^2]。