使用 Python 编写爬虫来抓取招聘网站的职位信息通常包括以下几个关键步骤：发送 HTTP 请求、解析 HTML 内容、提取所需数据以及存储数据。以下是详细的技术实现流程： ### 发送 HTTP 请求 可以使用 `requests` 库向目标网站发送 HTTP 请求，获取网页内容。需要注意的是，部分网站会对非浏览器 User-Agent 的请求进行拦截，因此需要设置合适的请求头以模拟浏览器行为。 ```python import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } url = 'https://www.lagou.com/zhaopin/' response = requests.get(url, headers=headers) response.encoding = 'utf-8' # 或者根据实际编码调整，如 gbk html_content = response.text ``` ### 解析 HTML 内容 使用 `BeautifulSoup` 库可以方便地从 HTML 中提取结构化数据。通过查找特定的标签和类名，定位到职位名称、公司名称、薪资范围等字段所在的位置。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(html_content, 'html.parser') job_listings = soup.find_all('div', class_='list_item_top') for job in job_listings: job_name = job.find('h3').text.strip() company_name = job.find('div', class_='company_name').find('a').text.strip() salary = job.find('span', class_='money').text.strip() print(f"职位名称: {job_name}, 公司名称: {company_name}, 薪资: {salary}") ``` ### 处理分页与反爬机制 许多招聘网站会采用分页机制展示大量职位信息，因此需要构造多个页面的 URL 并循环抓取。同时，为了避免被服务器识别为爬虫，可以在每次请求之间加入随机延迟，并使用代理 IP 等方式降低被封禁的风险[^2]。 ```python import time import random for page in range(1, 6): # 抓取前五页数据 url = f'https://www.lagou.com/zhaopin/{page}/' response = requests.get(url, headers=headers) # 解析逻辑同上... time.sleep(random.uniform(1, 3)) # 随机等待时间 ``` ### 存储抓取的数据 将提取到的数据保存至 CSV 文件中是一种常见做法，便于后续分析和处理。 ```python import csv with open('jobs.csv', mode='w', encoding='utf-8-sig', newline='') as file: writer = csv.writer(file) writer.writerow(['职位名称', '公司名称', '薪资']) for job in job_listings: job_name = job.find('h3').text.strip() company_name = job.find('div', class_='company_name').find('a').text.strip() salary = job.find('span', class_='money').text.strip() writer.writerow([job_name, company_name, salary]) ``` ### 数据分析与可视化（可选） 抓取完成后，可以使用 `pandas` 进行数据清洗和统计分析，并结合 `matplotlib` 或 `seaborn` 实现可视化展示职位分布、薪资趋势等内容[^4]。 ```python import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('jobs.csv') salary_distribution = df['薪资'].value_counts() plt.figure(figsize=(10, 6)) salary_distribution.plot(kind='bar') plt.title('职位薪资分布') plt.xlabel('薪资范围') plt.ylabel('数量') plt.xticks(rotation=45) plt.show() ``` 以上方法适用于大多数基于 HTML 页面构建的招聘网站，但具体实现时还需针对不同网站的 DOM 结构做出相应调整。此外，在开发过程中应遵守各网站的服务条款，尊重 robots.txt 规则，合理控制请求频率，避免对目标网站造成过大负载。