### Python爬虫招聘网站数据采集及可视化方法 #### 一、爬虫部分 在使用Python进行招聘网站的数据采集时，需要结合网络爬虫技术与数据分析工具。以下是具体的方法： 1. **选择目标网站**：确定要爬取的招聘网站（如前程无忧、智联招聘、BOSS直聘等），并分析其网页结构。 2. **安装必要的库**： - `requests`：用于发送HTTP请求[^1]。 - `BeautifulSoup`：解析HTML文档并提取所需信息[^1]。 - `re`：正则表达式模块，用于筛选特定格式的数据。 3. **获取用户代理信息**：为了避免被目标网站封禁，可以设置自定义的User-Agent头信息。 ```python import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get('https://example.com', headers=headers) ``` 4. **解析网页内容**：利用`BeautifulSoup`解析HTML内容，提取职位名称、公司名称、薪资范围等信息[^1]。 ```python from bs4 import BeautifulSoup soup = BeautifulSoup(response.text, 'html.parser') job_titles = [item.text for item in soup.find_all('div', class_='job-title')] company_names = [item.text for item in soup.find_all('div', class_='company-name')] salaries = [item.text for item in soup.find_all('span', class_='salary')] ``` 5. **存储数据**：将爬取到的数据保存为CSV或JSON文件以便后续处理。 ```python import pandas as pd data = {'Job Title': job_titles, 'Company Name': company_names, 'Salary': salaries} df = pd.DataFrame(data) df.to_csv('recruitment_data.csv', index=False) ``` #### 二、数据可视化部分 完成数据采集后，可以使用数据可视化工具对结果进行展示。 1. **安装必要的库**： - `pandas`：用于数据处理和分析[^1]。 - `matplotlib`：绘制图表[^1]。 - `seaborn`：基于`matplotlib`的高级接口，提供更美观的默认样式。 2. **读取数据**： ```python import pandas as pd df = pd.read_csv('recruitment_data.csv') ``` 3. **数据清洗**：对薪资字段进行清洗，将其转换为数值型以便计算平均值等统计指标[^1]。 ```python def clean_salary(salary): if '-' in salary: min_salary, max_salary = salary.split('-') return (float(min_salary.strip().replace('k', '')) + float(max_salary.strip().replace('k', ''))) / 2 return float(salary.strip().replace('k', '')) df['Average Salary'] = df['Salary'].apply(clean_salary) ``` 4. **绘制图表**： - **条形图**：展示不同职位的平均薪资。 ```python import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize=(10, 6)) sns.barplot(x='Job Title', y='Average Salary', data=df) plt.xticks(rotation=90) plt.title('Average Salary by Job Title') plt.show() ``` - **饼图**：显示各公司的招聘岗位分布。 ```python company_counts = df['Company Name'].value_counts() plt.figure(figsize=(8, 8)) plt.pie(company_counts[:5], labels=company_counts.index[:5], autopct='%1.1f%%') plt.title('Top 5 Companies by Recruitment Count') plt.show() ``` #### 三、注意事项 - 爬取过程中需遵守目标网站的`robots.txt`规则，避免违反法律或道德规范[^2]。 - 数据可视化时应确保图表清晰易懂，便于决策者理解。