### 数据存储方案 为了将从 Boss 直聘网站爬取的信息存储到 MySQL 数据库，通常会采用两种主要方法之一：一种是通过 Scrapy 框架内置的功能来完成；另一种则是利用 Selenium 和 BeautifulSoup 进行网页抓取后再手动连接数据库保存数据。 #### 使用Scrapy框架存入MySQL 当使用 Scrapy 框架时，可以在 `pipelines.py` 文件中定义一个 Pipeline 类来处理 item 并将其插入到 MySQL 中。下面是一个简单的例子： ```python import mysql.connector from boss.items import BossJobItem # 假设 items 已经按照引用描述进行了设置 class MysqlPipeline(object): def __init__(self, host, database, user, password): self.host = host self.database = database self.user = user self.password = password @classmethod def from_crawler(cls, crawler): return cls( host=crawler.settings.get('MYSQL_HOST'), database=crawler.settings.get('MYSQL_DATABASE'), user=crawler.settings.get('MYSQL_USER'), password=crawler.settings.get('MYSQL_PASSWORD') ) def open_spider(self, spider): """初始化函数""" self.connection = mysql.connector.connect( host=self.host, database=self.database, user=self.user, password=self.password ) self.cursor = self.connection.cursor() def close_spider(self, spider): """关闭资源释放""" self.cursor.close() self.connection.close() def process_item(self, item, spider): if isinstance(item, BossJobItem): insert_query = """ INSERT INTO jobs (name, title, wage, site) VALUES (%s,%s,%s,%s); """ values = ( item['name'], item['title'], item['wage'], item['site'] ) try: self.cursor.execute(insert_query, values) self.connection.commit() except Exception as e: print(f"Error inserting into DB: {e}") return item ``` 此代码片段展示了如何创建自定义管道类 `MysqlPipeline` 来接收来自 Spider 的 Item 对象，并执行 SQL 插入语句以将这些对象的数据持久化至 MySQL 表格中[^4]。 #### 利用Selenium和BeautifulSoup存入MySQL 如果选择了基于 Selenium 和 BeautifulSoup 的方式，则需要先安装必要的 Python 库（如上述提到的），之后编写脚本来获取目标页面的内容并解析所需字段。最后一步就是建立与 MySQL 的连接并将提取出来的信息写入相应的表格内。 这里给出一段简化版的示例代码用于说明这一过程: ```python from selenium import webdriver from bs4 import BeautifulSoup import pymysql.cursors def save_to_db(job_data_list): connection = pymysql.connect(host='localhost', user='root', passwd='', db='jobsdb') with connection.cursor() as cursor: sql = "INSERT INTO job_table (`company`, `position`, `salary`, `location`) VALUES (%s, %s, %s, %s)" for data in job_data_list: cursor.execute(sql, tuple(data.values())) connection.commit() connection.close() driver_path = '/path/to/chromedriver' browser = webdriver.Chrome(executable_path=driver_path) url = 'https://www.zhipin.com/' browser.get(url) html_content = browser.page_source soup = BeautifulSoup(html_content,'lxml') job_items = soup.find_all('div', class_='info-primary')[:10] data_list = [] for i,item in enumerate(job_items,start=1): company_name = item.select_one('.company-text h3').text.strip().split('\n')[0].strip() position_title = item.h1.a.text.strip() salary_range = item.span.string.replace('k','K') work_location = item.p.text.split()[0] single_job_info={ 'Company':company_name , 'Position Title' :position_title , 'Salary Range ':salary_range , 'Work Location':work_location } data_list.append(single_job_info) save_to_db(data_list) print("Data saved successfully.") ``` 这段代码实现了启动 Chrome 浏览器访问 Boss 直聘首页，随后读取 HTML 文档并通过 Beautiful Soup 解析出前十个职位的相关详情，最终调用了辅助函数 `save_to_db()` 将收集好的工作条目批量导入到了名为 `job_table` 的关系型数据库表里[^5]。