### 使用Python爬取京东最新笔记本电脑数据 #### 环境搭建与依赖安装 为了顺利执行爬虫任务，需确保开发环境中已安装必要的库。推荐使用虚拟环境隔离项目依赖。 ```bash virtualenv venv source venv/bin/activate # Linux/MacOS venv\Scripts\activate # Windows pip install scrapy fake-useragent requests selenium -i https://pypi.douban.com/simple ``` 上述命令创建了一个名为`venv`的虚拟环境，并激活该环境后安装所需的Python包[^2]。 #### 数据源定位 在着手编写具体代码前，应仔细研究目标网页结构，特别是URL模式以及AJAX请求路径等细节。对于京东这样的大型电商平台而言，商品详情页通常会通过JavaScript动态加载部分内容，因此除了常规HTTP GET请求外，还需关注可能存在的异步接口调用[^5]。 #### 编写Scrapy Spider脚本 下面是一个简单的Scrapy spider模板用于抓取指定分类下的笔记本电脑列表： ```python import scrapy from fake_useragent import UserAgent class JdLaptopSpider(scrapy.Spider): name = 'jd_laptops' allowed_domains = ['search.jd.com'] custom_settings = { "DEFAULT_REQUEST_HEADERS": {'User-Agent': UserAgent().random}, "DOWNLOAD_DELAY": 1, "CONCURRENT_REQUESTS_PER_DOMAIN": 8 } start_urls = [ f'https://search.jd.com/Search?keyword=%E7%AC%94%E8%AE%B0%E6%9C%AC&enc=utf-8&page={page}' for page in range(1, 5) # 只获取前几页作为示例 ] def parse(self, response): items = [] products = response.css('li.gl-item') for product in products: item = {} sku_id = product.xpath('@data-sku').get() title = ''.join(product.css('.p-name em::text').extract()).strip() price = product.css('.p-price i::text').get() yield { 'sku_id': sku_id, 'title': title, 'price': float(price), '_url': f"https://item.jd.com/{sku_id}.html" } ``` 此段代码定义了一个继承自`scrapy.Spider`类的对象，设置了初始访问链接、解析函数以及其他一些配置项。注意这里采用了随机UA头防止被反爬机制识别；同时控制并发数量和延迟时间以减轻服务器压力。 #### 启动爬虫并保存结果 完成spider文件编写之后，在终端输入如下指令启动爬虫并将收集到的数据导出为JSON格式文件: ```bash scrapy crawl jd_laptops -o laptops.json ``` 这将会把所有匹配条件的商品记录存储至当前目录下的`laptops.json`文件中。