### 使用Python编写Web爬虫抓取招聘信息 为了从新安人才网、BOSS直聘和51job等平台获取与大数据、人工智能、统计学和计算机科学领域相关的招聘信息及其具体要求，可以采用Selenium库配合其他工具完成此任务。以下是针对这些特定需求的设计方案。 #### 一、准备工作 安装必要的依赖包： ```bash pip install selenium requests pandas openpyxl lxml bs4 fake_useragent ``` 下载对应版本的WebDriver驱动器，并将其路径加入环境变量中以便于调用。 #### 二、构建通用框架 创建一个基础类`JobSpider`用于封装公共方法，比如初始化浏览器实例、关闭资源释放等功能；再分别定义子类继承自该基类以适应不同站点的特点。 ```python from selenium import webdriver import time from fake_useragent import UserAgent class JobSpider(object): def __init__(self): options = webdriver.ChromeOptions() ua = UserAgent().random options.add_argument(f'user-agent={ua}') self.driver = webdriver.Chrome(options=options) def close(self): try: self.driver.quit() except Exception as e: print(e) def get_page_source(url, spider_instance=None): """ 获取页面HTML """ if not isinstance(spider_instance, JobSpider): raise ValueError('Invalid Spider Instance') driver = spider_instance.driver driver.get(url) time.sleep(3) # 等待加载完毕 return driver.page_source ``` 上述代码实现了基本的功能模块化设计[^1]。 #### 三、定制化的爬虫逻辑 对于每一个具体的招聘网站来说，都需要单独调整解析规则来适配其网页结构。下面给出三个例子说明如何为各个目标站设置专属策略。 ##### 新安人才网 (XinAn Talent Network) ```python class XinAn(JobSpider): def parse_jobs(self, html_content): from lxml import etree tree = etree.HTML(html_content) items = [] job_list = tree.xpath('//div[@id="list_con"]//li')[:10] for item in job_list: title = ''.join(item.xpath('.//h2/a/text()')).strip() company_name = ''.join(item.xpath('.//p[contains(@class,"company")]/a/@title')) salary_range = ''.join(item.xpath('.//span[@class="salary"]/text()')) detail_url = 'http:' + ''.join(item.xpath('.//h2/a/@href')) single_item = { "position": title, "firm": company_name, "pay": salary_range, "link": detail_url } items.append(single_item) return items ``` 这段脚本展示了如何利用XPath表达式提取所需字段的信息[^2]。 ##### BOSS直聘 (Zhipin Boss) 考虑到反爬机制的存在，这里引入了随机等待时间间隔模拟人类行为模式，同时通过修改User-Agent字符串绕过部分检测手段。 ```python class ZhiPin(JobSpider): def fetch_data(self, keyword='大数据'): base_url = r'https://www.zhipin.com/job_detail/?query={}' url = base_url.format(keyword) page_src = super().get_page_source(url=url) soup = BeautifulSoup(page_src,'lxml') jobs_info = [] all_job_divs=soup.find_all("div",attrs={"class":"info-primary"}) for div in all_job_divs: position=div.select_one(".name").getText(strip=True).split()[0] firm=div.parent.select_one(".company-text h3 a").getText(strip=True) pay=div.select_one(".red").getText(strip=True) href=div.a['href'] link=f"https:{href}" entry={ "postion":position, "enterprise":firm, "compensation":pay, "website":link } jobs_info.append(entry) return jobs_info ``` 此处运用BeautifulSoup库简化DOM操作过程，提高了可读性和维护效率[^3]。 ##### 五八同城 / 51job (WuBaTongCheng or Wuba Jobs) 由于51job采用了较为复杂的动态加载方式，因此需要更深入的研究才能稳定地获得想要的结果集。 ```python class WuBa(JobSpider): def extract_items(self, raw_html): selector = etree.HTML(raw_html) entries = [] elements = selector.xpath("//script") script_text="" for element in elements: text=element.text if "window.__SEARCH_RESULT__" in str(text): script_text=text.strip() json_str=script_text.replace("window.__SEARCH_RESULT__ =", "").rstrip(";") data=json.loads(json_str)["engine_jds"] for record in data: postitionName=record["job_title"] companyName=record["company_name"] workArea=record["workarea_text"] provideSalaryText=record["providesalary_text"] details_link=f"http://jobs.51job.com/{record['jump_href']}" one_entry=dict( role=postitionName, corp=companyName, area=workArea, wage=provideSalaryText, referrer=details_link ) entries.append(one_entry) return entries ``` 以上示例体现了对JSON格式响应体的理解与应用能力[^4]。 ---