### Python实现招聘网站数据爬取与可视化分析 以下是一个完整的代码示例，展示如何使用Python从招聘网站爬取数据，并进行清洗、处理和可视化分析。此示例结合了`requests`、`BeautifulSoup`、`pandas`和`matplotlib`等库[^1]。 #### 1. 环境准备 首先安装所需的库： ```bash pip install requests beautifulsoup4 pandas matplotlib seaborn ``` #### 2. 数据爬取 使用`requests`获取网页内容，并通过`BeautifulSoup`解析HTML结构。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置目标URL url = "https://example.com/jobs" # 替换为实际的招聘网站URL headers = {'User-Agent': 'Mozilla/5.0'} # 发送请求 response = requests.get(url, headers=headers) soup = BeautifulSoup(response.content, 'html.parser') # 解析数据 job_list = [] for job in soup.find_all('div', class_='job-item'): # 根据实际页面结构调整选择器 title = job.find('h2').text.strip() company = job.find('span', class_='company-name').text.strip() salary = job.find('span', class_='salary').text.strip() if job.find('span', class_='salary') else "N/A" location = job.find('span', class_='location').text.strip() job_list.append({ 'Title': title, 'Company': company, 'Salary': salary, 'Location': location }) # 转换为DataFrame df = pd.DataFrame(job_list) print(df.head()) ``` #### 3. 数据清洗 对爬取的数据进行初步清洗，例如去除空值、格式化薪资字段等。 ```python # 清洗薪资字段 def clean_salary(salary): if salary == "N/A": return None return float(salary.replace('$', '').replace(',', '')) df['Salary'] = df['Salary'].apply(clean_salary) # 删除空值 df = df.dropna(subset=['Salary']) ``` #### 4. 数据分析 使用`pandas`对数据进行统计分析。 ```python # 统计平均薪资 average_salary = df['Salary'].mean() print(f"Average Salary: ${average_salary:.2f}") # 按公司统计职位数量 company_counts = df['Company'].value_counts() print(company_counts.head()) ``` #### 5. 数据可视化 利用`matplotlib`和`seaborn`绘制图表。 ```python import matplotlib.pyplot as plt import seaborn as sns # 设置样式 sns.set(style="whitegrid") # 薪资分布直方图 plt.figure(figsize=(10, 6)) sns.histplot(df['Salary'], bins=20, kde=True) plt.title("Salary Distribution") plt.xlabel("Salary ($)") plt.ylabel("Frequency") plt.show() # 公司职位数量柱状图 plt.figure(figsize=(12, 8)) sns.barplot(x=company_counts.index[:10], y=company_counts.values[:10]) plt.title("Top 10 Companies with Most Job Listings") plt.xlabel("Company") plt.ylabel("Number of Jobs") plt.xticks(rotation=45) plt.show() ``` #### 注意事项 - 在实际应用中，需确保遵守目标网站的`robots.txt`规则及法律条款[^2]。 - 动态加载的网页可能需要使用`Selenium`或`Playwright`来模拟浏览器行为。