### 爬取51job招聘网站中关于“Python”职位信息的完整代码及可视化展示 以下是一个完整的解决方案，包括爬虫实现、数据存储为CSV文件以及数据可视化展示。 --- #### 一、爬虫实现 以下是使用`requests`和`lxml`库从51job网站爬取与“Python”相关职位信息的代码[^1]： ```python import requests from lxml import etree import csv # 定义请求头以模拟浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 获取网页内容 def fetch_page(url): response = requests.get(url, headers=headers) if response.status_code == 200: return response.text return None # 解析网页并提取职位信息 def parse_page(html): tree = etree.HTML(html) job_titles = tree.xpath('//div[@class="el"]/p/span/a/text()') # 职位名称 company_names = tree.xpath('//span[@class="t2"]/a/text()') # 公司名称 cities = tree.xpath('//span[@class="t3"]/text()') # 工作城市 salaries = tree.xpath('//span[@class="t4"]/text()') # 薪资范围 publish_dates = tree.xpath('//span[@class="t5"]/text()') # 发布日期 return job_titles, company_names, cities, salaries, publish_dates # 将数据保存为CSV文件 def save_to_csv(data, filename): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(['Job Title', 'Company Name', 'City', 'Salary', 'Publish Date']) writer.writerows(data) # 主函数 def main(): base_url = "https://search.51job.com/list/000000,000000,0000,00,9,99,Python,2,{}.html" all_data = [] for page in range(1, 11): # 爬取前10页数据 url = base_url.format(page) html = fetch_page(url) if html: job_titles, company_names, cities, salaries, publish_dates = parse_page(html) data = list(zip(job_titles, company_names, cities, salaries, publish_dates)) all_data.extend(data) save_to_csv(all_data, '51job_python_jobs.csv') print("数据已成功保存到 51job_python_jobs.csv 文件中。") ``` 上述代码实现了从51job网站爬取与“Python”相关的职位信息，并将结果保存为CSV文件[^1]。 --- #### 二、数据清洗与可视化 以下是对CSV文件中的数据进行清洗和可视化的代码[^2]： ```python import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 读取CSV文件 df = pd.read_csv('51job_python_jobs.csv') # 数据清洗：处理薪资字段 def clean_salary(salary): if '-' in salary: min_salary, max_salary = salary.split('-') min_salary = float(min_salary.replace('k', '').replace('K', '')) max_salary = float(max_salary.replace('k', '').replace('K', '')) return (min_salary + max_salary) / 2 elif '万' in salary: salary_value = float(salary.replace('万', '').strip()) return salary_value * 10 else: return float(salary.replace('k', '').replace('K', '')) df['Average Salary'] = df['Salary'].apply(clean_salary) # 绘制条形图展示不同城市的平均薪资 plt.figure(figsize=(12, 8)) city_salary = df.groupby('City')['Average Salary'].mean().sort_values(ascending=False).head(10) sns.barplot(x=city_salary.values, y=city_salary.index, palette='viridis') plt.title('Top 10 Cities by Average Python Job Salary') plt.xlabel('Average Salary (k)') plt.ylabel('City') plt.tight_layout() plt.savefig('top_10_cities_by_salary.png') plt.show() # 绘制饼图显示各公司性质的招聘数量分布 company_type_counts = df['Company Name'].value_counts().head(5) plt.figure(figsize=(8, 8)) plt.pie(company_type_counts, labels=company_type_counts.index, autopct='%1.1f%%', startangle=90) plt.title('Top 5 Companies by Recruitment Count') plt.tight_layout() plt.savefig('top_5_companies_pie_chart.png') plt.show() ``` 上述代码完成了对CSV文件中数据的清洗，并使用`matplotlib`和`seaborn`库进行数据可视化。生成的结果图包括条形图和饼图，分别展示了不同城市的平均薪资以及招聘数量最多的前五家公司。 --- #### 三、结果示例 1. **条形图：不同城市的平均薪资** ```plaintext 图像文件名：top_10_cities_by_salary.png ``` 2. **饼图：招聘数量最多的前五家公司** ```plaintext 图像文件名：top_5_companies_pie_chart.png ``` --- ### 注意事项 在执行爬虫任务时，需注意目标网站的反爬机制，如动态加载的数据可通过分析API接口直接获取JSON格式的数据。此外，确保遵守网站的`robots.txt`规则，避免非法抓取行为[^3]。 ---