### 爬取51job网站与Python相关职位信息并保存为CSV文件及可视化 以下是一个完整的解决方案，包括爬虫代码编写、数据存储和可视化展示的实现。 #### 1. 数据爬取 为了从51job网站获取与Python相关的职位信息，可以使用`requests`库发送HTTP请求，并结合`BeautifulSoup`解析HTML页面。以下是具体代码： ```python import requests from bs4 import BeautifulSoup import csv def fetch_job_data(page=1): url = f"https://search.51job.com/list/000000,000000,0000,00,9,99,Python,2,{page}.html" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) if response.status_code == 200: soup = BeautifulSoup(response.text, 'html.parser') jobs = [] job_items = soup.select("div.el") for item in job_items: title = item.select_one("p.t1 > a").get_text(strip=True) if item.select_one("p.t1 > a") else "N/A" company = item.select_one("span.t2 > a").get_text(strip=True) if item.select_one("span.t2 > a") else "N/A" location = item.select_one("span.t3").get_text(strip=True) if item.select_one("span.t3") else "N/A" salary = item.select_one("span.t4").get_text(strip=True) if item.select_one("span.t4") else "N/A" date = item.select_one("span.t5").get_text(strip=True) if item.select_one("span.t5") else "N/A" jobs.append([title, company, location, salary, date]) return jobs else: print(f"Failed to retrieve data: {response.status_code}") return [] def save_to_csv(data, filename="jobs.csv"): with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.writer(file) writer.writerow(["Job Title", "Company", "Location", "Salary", "Date"]) writer.writerows(data) # 主函数：爬取多页数据并保存为CSV文件 if __name__ == "__main__": all_jobs = [] for page in range(1, 6): # 假设爬取前5页数据 jobs = fetch_job_data(page) all_jobs.extend(jobs) save_to_csv(all_jobs) ``` 上述代码中，通过调整`range(1, 6)`可以控制爬取的页数[^1]。 #### 2. 数据可视化 在完成数据爬取后，可以使用`pandas`和`matplotlib`库对数据进行可视化展示。例如，统计不同城市的Python职位数量或薪资分布。 ```python import pandas as pd import matplotlib.pyplot as plt # 加载CSV数据 data = pd.read_csv("jobs.csv") # 统计各城市职位数量 city_counts = data['Location'].value_counts() # 可视化展示 plt.figure(figsize=(10, 6)) city_counts.plot(kind='bar', color='skyblue') plt.title('Python Job Distribution by City') plt.xlabel('City') plt.ylabel('Number of Jobs') plt.xticks(rotation=45) plt.tight_layout() plt.show() ``` #### 注意事项 - 在爬取过程中，确保遵守目标网站的`robots.txt`协议[^2]。 - 如果需要更复杂的分析（如薪资范围统计），可以进一步处理`Salary`字段，将其转换为数值类型后再进行统计。