### 使用Scrapy与Selenium抓取智联招聘岗位详情 为了实现对智联招聘岗位详细信息的爬取，可以采用Scrapy框架并集成Selenium来解决动态加载的内容以及可能存在的反爬机制。以下是完整的解决方案： #### 页面分析 在智联招聘网站中，岗位列表通常由JavaScript动态渲染而成，因此仅依靠传统的请求库（如`requests`）无法获取完整数据。此时需要借助Selenium模拟浏览器行为完成登录和页面交互操作[^1]。 #### 创建Scrapy项目 启动一个新的Scrapy工程，并配置必要的组件文件结构如下所示： ``` my_zhaopin/ ├── scrapy.cfg # 部署配置文件 └── my_zhaopin/ # Python模块路径根目录 ├── __init__.py # 初始化脚本 ├── items.py # 定义存储的数据模型类 ├── middlewares.py # 下载器中间件定义处 ├── pipelines.py # 数据管道处理逻辑编写位置 └── settings.py # 设置参数的地方 ``` #### 中间件设置 (middlewares.py) 为了让Scrapy能够调用Selenium驱动浏览器访问网页，在此自定义下载中间件以替代默认HTTP客户端。 ```python from selenium import webdriver import time class SeleniumMiddleware(object): def __init__(self): options = webdriver.ChromeOptions() options.add_argument('--headless') # 开启无头模式运行Chrome self.driver = webdriver.Chrome(options=options) def process_request(self, request, spider): """拦截每个request对象交给selenium执行""" self.driver.get(request.url) time.sleep(3) # 等待JS完全加载完毕再继续下一步动作 body = str.encode(self.driver.page_source) return HtmlResponse(url=self.driver.current_url, status=200, headers={'Content-Type': 'text/html'}, body=body, encoding='utf-8', flags=None) def close_spider(self,spider): self.driver.quit() ``` #### Items定义 (items.py) 设计好要提取字段的具体形式，这里假设我们关心职位名称、公司名、薪资范围等基本信息。 ```python import scrapy class JobInfoItem(scrapy.Item): title = scrapy.Field() # 职位标题 company_name = scrapy.Field() # 单位全称 salary_range = scrapy.Field() # 工资区间 job_desc = scrapy.Field() # 岗位描述内容 ``` #### Spider开发 (spiders/job_info.py) 构建具体的Spider程序去遍历目标URL集合，并解析返回HTML文档中的有效节点信息。 ```python import scrapy from ..items import JobInfoItem class ZhiLianJobSpider(scrapy.Spider): name = "zhaopin" allowed_domains = ["www.zhaopin.com"] start_urls = ['https://www.zhaopin.com'] def parse(self,response): item = JobInfoItem() titles = response.css('.job-title::text').extract() companies = response.xpath('//div[@class="company-name"]/a/text()').getall() salaries = response.css('span.salary::text').re(r'\d+-\d+') for i in range(len(titles)): item['title'] = titles[i].strip('\n ') item['company_name'] = companies[i] item['salary_range'] = salaries[i] yield item next_page_link = response.css('li.next a::attr(href)').get() if next_page_link is not None: absolute_next_page_url = f'https:{next_page_link}' yield scrapy.Request(url=absolute_next_page_url,callback=self.parse) ``` #### Pipelines保存数据 (pipelines.py) 最后一步是决定如何持久化采集来的资料，此处简单演示写入CSV文件的方式作为例子展示。 ```python import csv class SaveToCsvPipeline: def open_spider(self, spider): self.file = open(f'{spider.name}.csv', mode='w+', newline='',encoding='gbk') fieldnames=['title','company_name','salary_range'] self.writer = csv.DictWriter(self.file,fieldnames=fieldnames) self.writer.writeheader() def process_item(self,item,spider): row=dict(item) self.writer.writerow(row) return item def close_spider(self,spider): self.file.close() ``` #### Settings调整 (settings.py) 启用上述定制好的功能模块，并指定一些全局性的选项值。 ```python BOT_NAME = 'my_zhaopin' SPIDER_MODULES = ['my_zhaopin.spiders'] NEWSPIDER_MODULE = 'my_zhaopin.spiders' ROBOTSTXT_OBEY = False # 不遵循robots协议限制 DOWNLOAD_DELAY = 2 # 控制请求间隔时间防止被封杀 CONCURRENT_REQUESTS_PER_DOMAIN = 4 DOWNLOADER_MIDDLEWARES = { 'my_zhaopin.middlewares.SeleniumMiddleware': 543, } ITEM_PIPELINES = {'my_zhaopin.pipelines.SaveToCsvPipeline': 300} ``` 通过以上步骤即可搭建起一套基于Python语言利用Scrapy+Selenium技术栈针对智联招聘平台实施自动化批量收集招聘信息的服务端应用系统[^2]。