### 爬取招聘网站中Python相关职位信息并保存为CSV格式，进行可视化展示 以下是一个完整的解决方案，包括爬虫代码、数据存储以及可视化部分。 #### 一、爬虫实现 ```python import requests from lxml import etree import csv # 定义请求头以模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 获取网页内容 def fetch_page(url): response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None # 解析网页并提取职位信息 def parse_page(html): tree = etree.HTML(html) job_titles = tree.xpath('//div[@class="job-title"]/text()') # 职位名称 company_names = tree.xpath('//div[@class="company-name"]/text()') # 公司名称 salaries = tree.xpath('//span[@class="salary"]/text()') # 薪资范围 return job_titles, company_names, salaries # 将数据保存为CSV文件 def save_to_csv(data, filename): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['Job Title', 'Company Name', 'Salary']) writer.writerows(data) # 主函数 def main(): url = "https://example.com/python-jobs" # 替换为目标网站的实际URL html = fetch_page(url) if html: job_titles, company_names, salaries = parse_page(html) data = list(zip(job_titles, company_names, salaries)) save_to_csv(data, 'recruitment_data.csv') print("数据已成功保存到 recruitment_data.csv 文件中。") ``` 上述代码实现了从指定招聘网站爬取Python相关职位的信息，并将结果保存为CSV文件[^1]。 #### 二、数据清洗与可视化 ```python import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 读取CSV文件 df = pd.read_csv('recruitment_data.csv') # 数据清洗：将薪资字段转换为数值型 def clean_salary(salary): if '-' in salary: min_salary, max_salary = salary.split('-') return (float(min_salary.strip().replace('k', '')) + float(max_salary.strip().replace('k', ''))) / 2 return float(salary.strip().replace('k', '')) df['Average Salary'] = df['Salary'].apply(clean_salary) # 绘制条形图展示不同职位的平均薪资 plt.figure(figsize=(10, 6)) sns.barplot(x='Job Title', y='Average Salary', data=df) plt.xticks(rotation=90) plt.title('Average Salary by Job Title') plt.tight_layout() plt.savefig('average_salary_by_job_title.png') plt.show() # 绘制饼图显示各公司的招聘岗位分布 company_counts = df['Company Name'].value_counts() plt.figure(figsize=(8, 8)) plt.pie(company_counts[:5], labels=company_counts.index[:5], autopct='%1.1f%%') plt.title('Top 5 Companies by Recruitment Count') plt.tight_layout() plt.savefig('top_5_companies_pie_chart.png') plt.show() ``` 上述代码完成了对CSV文件中数据的清洗，并使用`matplotlib`和`seaborn`库进行数据可视化[^2]。生成的结果图包括条形图和饼图，分别展示了不同职位的平均薪资以及招聘数量最多的前五家公司。 #### 结果图示例 1. **条形图：不同职位的平均薪资** ```plaintext 图像文件名：average_salary_by_job_title.png ``` 2. **饼图：招聘数量最多的前五家公司** ```plaintext 图像文件名：top_5_companies_pie_chart.png ``` #### 注意事项 在执行爬虫任务时，需注意目标网站的反爬机制，如动态加载的数据可通过分析API接口直接获取JSON格式的数据[^1]。此外，确保遵守网站的`robots.txt`规则，避免非法抓取行为[^3]。 ---