为了满足你的需求，我将提供一个完整的Scrapy项目结构，并将其整合成一个完整的代码示例。这个项目将包括`items.py`、`pipelines.py`、`settings.py`以及主爬虫文件`jd_book_spider.py`。我们将这些文件的内容合并到一个单独的Python文件中，方便你一次性运行。 请注意，Scrapy通常是以多个文件的方式组织项目，但这里为了简化，我们将所有关键部分放在一个文件中。你可以根据需要将其拆分为多个文件。 ```python # 整合的Scrapy项目代码 import scrapy from scrapy.crawler import CrawlerProcess from scrapy.item import Item, Field from scrapy.exceptions import CloseSpider import re from lxml import etree from aip import AipNlp # 百度AI平台参数 APP_ID = 'your_app_id' API_KEY = 'your_api_key' SECRET_KEY = 'your_secret_key' client = AipNlp(APP_ID, API_KEY, SECRET_KEY) # 定义Item类 class JdBooksItem(Item): name = Field() price = Field() review = Field() # 定义Pipeline类 class JdBooksPipeline: def process_item(self, item, spider): # 数据清洗与保存逻辑 item['name'] = re.sub(r'\s+', ' ', item['name']) item['price'] = re.sub(r'[^0-9.]', '', item['price']) return item # 定义爬虫设置 class CustomSettings: ITEM_PIPELINES = {'__main__.JdBooksPipeline': 300} USER_AGENT = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3' # 定义爬虫类 class JdBookSpider(scrapy.Spider): name = 'jd_book_spider' allowed_domains = ['jd.com'] start_urls = ['https://book.jd.com/booksort.html'] custom_settings = CustomSettings() def parse(self, response): soup = BeautifulSoup(response.text, 'lxml') books = soup.find_all('li', class_='gl-item') for book in books: try: item = JdBooksItem() item['name'] = book.find('div', class_='p-name').get_text(strip=True) item['price'] = book.find('i').get_text(strip=True) # 提取详情链接 detail_link = 'https:' + book.find('div', class_='p-name').a['href'] yield scrapy.Request(detail_link, callback=self.parse_detail, meta={'item': item}) except AttributeError: continue def parse_detail(self, response): item = response.meta['item'] tree = etree.HTML(response.text) reviews_section = tree.xpath('//div[@id="comment-content"]//div[@class="comment-item"]') reviews = [] for review_section in reviews_section: review = ''.join(review_section.xpath('.//div[@class="comment-con"]/text()')).strip() if review: reviews.append(review) item['review'] = reviews yield item # 情感分析函数 def analyze_sentiment(reviews): results = [] for review in reviews: result = client.sentimentClassify(review) sentiment = '正面' if result['items'][0]['positive_prob'] > 0.5 else '负面' results.append({'review': review, 'sentiment': sentiment}) return results if __name__ == "__main__": # 启动Scrapy爬虫 process = CrawlerProcess() process.crawl(JdBookSpider) process.start() # 假设已经收集到了一些评论（这里只是为了演示，实际应该从爬虫结果中获取） example_reviews = [ "这本书非常好，内容丰富，值得阅读。", "书的质量一般，部分内容过时了。", "非常满意的一次购物体验！" ] # 对示例评论进行情感分析 sentiments = analyze_sentiment(example_reviews) for sentiment in sentiments: print(f"评价: {sentiment['review']}, 情感倾向: {sentiment['sentiment']}") ``` ### 注意事项 1. **百度AI平台参数**：你需要替换`your_app_id`、`your_api_key`和`your_secret_key`为自己的百度AI平台的API密钥。 2. **Scrapy项目结构**：虽然这里将所有代码整合到一个文件中，但在实际项目中，建议将不同的部分（如Item、Pipeline、Setting等）分别放在独立的文件中，以保持代码的清晰和可维护性。 3. **依赖库安装**：确保安装了所有依赖库： ```bash pip install scrapy requests beautifulsoup4 lxml selenium baidu-aip ``` ### 知识点 1. **HTTP请求与响应**：通过发送HTTP GET请求来获取远程服务器的数据。 2. **HTML/XML解析**：运用BeautifulSoup或lxml解析HTML/XML文档，从中抽取所需信息。 3. **情感分析**：利用百度AI平台的情感分析API判断文本的情感倾向。