### 使用Python爬取、解析和处理网上招聘信息 #### 1. 网页结构分析 在进行招聘网站的信息抓取前，需先了解目标网页的HTML结构。这一步可以通过浏览器开发者工具完成，查看所需信息的具体标签及其属性[^3]。 #### 2. 数据爬取方法 可以借助`requests`库发送HTTP请求并获取网页内容，再使用`BeautifulSoup`或`lxml`来解析HTML文档。例如，对于BOSS直聘这样的平台，可提取职位名称、薪资范围、工作地点以及学历要求等内容[^4]： ```python import requests from bs4 import BeautifulSoup url = 'https://www.zhipin.com/job_detail/?query=python&city=101010100' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)' } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text, 'html.parser') job_titles = soup.select('.job-title') # 获取职位名 salaries = soup.select('.salary') # 获取薪资范围 locations = soup.select('.info-primary > p') # 获取工作地点及其他条件 ``` #### 3. 数据存储与清洗 将爬取到的数据保存至CSV文件或其他数据库形式以便后续操作。在此过程中可能需要去除多余的字符或者统一数据格式。比如针对经验与学历字段中的异常值做特殊处理[^5]: ```python import pandas as pd import re import numpy as np data = {'title': [], 'salary': [], 'location': []} for title in job_titles: data['title'].append(title.get_text()) for salary in salaries: data['salary'].append(salary.get_text()) for loc in locations: info = loc.get_text().split(' ') if len(info) >= 3: data['location'].append({ 'area': info[0], 'experience': info[1], 'education': info[2] }) df = pd.DataFrame(data) def clean_education(x): match = re.findall("本科|大专|应届生|在校生|硕士|博士", str(x)) if not match: return np.nan elif len(match) == 1 or len(match) == 2: return match[0] else: return match[2] df['cleaned_education'] = df.location.apply(clean_education) ``` #### 4. 可视化呈现 最后通过对收集来的大量数据进行统计计算得出有价值的结论，并采用图表等形式直观表现出来。例如绘制不同城市的平均工资水平对比图或是制作反映热门技能关键词分布状况的词云图片等。 ```python import matplotlib.pyplot as plt plt.figure(figsize=(8,6)) average_salary_by_city = df.groupby(['city'])['salary_numeric'].mean() average_salary_by_city.plot(kind='bar', color='blue') plt.title('Average Salary by City') plt.xlabel('City') plt.ylabel('Salary ($)') plt.show() from wordcloud import WordCloud text = " ".join(df.skill_set.dropna()) word_cloud = WordCloud(width = 1000, height = 500).generate(text) plt.imshow(word_cloud) plt.axis("off") plt.show() ```