### 使用Jupyter Notebook编写爬虫程序爬取淘宝汉服相关一万条用户数据的方法和示例代码 以下内容详细描述了如何在Jupyter Notebook中编写爬虫程序来获取淘宝上关于汉服的一万条用户数据。 #### 1. 环境准备 在Jupyter Notebook中，需要确保安装了必要的库。以下是安装命令： ```python !pip install scrapy selenium pandas matplotlib ``` #### 2. 使用Scrapy框架进行数据爬取 Scrapy是一个高效的爬虫框架，适合处理大规模数据抓取任务。以下是具体实现方法： #### 3. Scrapy爬虫脚本 在Jupyter Notebook中，可以通过以下代码定义一个Scrapy爬虫： ```python from scrapy import Spider, Request class HanfuSpider(Spider): name = "hanfu_spider" allowed_domains = ["taobao.com"] start_urls = ["https://s.taobao.com/search?q=汉服"] custom_settings = { 'DOWNLOAD_DELAY': 1, # 控制请求间隔[^1] 'USER_AGENT': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } def parse(self, response): for item in response.css('div.item'): yield { 'title': item.css('div.title::text').get(), 'price': item.css('span.price::text').get(), 'shop': item.css('div.shop::text').get() } next_page = response.css('a.next::attr(href)').get() if next_page and self.crawler.stats.get_value('item_scraped_count') < 10000: yield Request(response.urljoin(next_page), callback=self.parse) ``` #### 4. 运行Scrapy爬虫 在Jupyter Notebook中运行Scrapy爬虫时，可以使用`CrawlerProcess`类： ```python from scrapy.crawler import CrawlerProcess from scrapy.utils.project import get_project_settings process = CrawlerProcess(get_project_settings()) process.crawl(HanfuSpider) process.start() ``` #### 5. 使用Selenium框架进行动态网页爬取 Selenium适用于处理动态加载的网页内容。以下是具体实现方法： #### 6. Selenium爬虫脚本 在Jupyter Notebook中，可以通过以下代码定义一个Selenium爬虫： ```python from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys import time import pandas as pd driver = webdriver.Chrome() driver.get("https://www.taobao.com") # 搜索关键词 search_box = driver.find_element(By.NAME, "q") search_box.send_keys("汉服") search_box.send_keys(Keys.RETURN) data = [] while len(data) < 10000: items = driver.find_elements(By.CSS_SELECTOR, "div.item") for item in items: title = item.find_element(By.CSS_SELECTOR, "div.title").text price = item.find_element(By.CSS_SELECTOR, "span.price").text shop = item.find_element(By.CSS_SELECTOR, "div.shop").text data.append({"title": title, "price": price, "shop": shop}) next_button = driver.find_element(By.CSS_SELECTOR, "a.next") if next_button.is_enabled(): next_button.click() time.sleep(3) # 等待页面加载[^2] else: break driver.quit() ``` #### 7. 数据保存 将收集到的数据保存为CSV文件： ```python df = pd.DataFrame(data) df.to_csv("hanfu_data.csv", index=False, encoding="utf-8") ``` #### 8. 数据可视化 为了更好地分析数据，可以使用Matplotlib绘制价格分布图： ```python import matplotlib.pyplot as plt plt.hist(df['price'].astype(float), bins=50, color='skyblue', edgecolor='black') plt.title("汉服价格分布") plt.xlabel("价格") plt.ylabel("数量") plt.show() ```