### 爬取51job招聘网站上的Python相关职位信息并保存为CSV文件及可视化展示 #### 1. 数据爬取 为了从51job网站上获取Python相关职位的信息，可以使用`Selenium`模拟浏览器行为进行数据采集[^2]。由于直接使用`requests`库容易被平台反爬虫机制封锁IP，因此采用`Selenium`更为稳定。以下是实现步骤： - **安装依赖库**： 需要安装以下Python库：`selenium`、`BeautifulSoup`、`pandas`。 ```bash pip install selenium beautifulsoup4 pandas ``` - **代码实现**： 下面是一个完整的爬虫代码示例，用于从51job网站上爬取Python相关职位信息，并将其保存为CSV文件。 ```python from selenium import webdriver from bs4 import BeautifulSoup import time import pandas as pd # 初始化Selenium WebDriver options = webdriver.ChromeOptions() options.add_argument('--headless') # 无头模式 driver = webdriver.Chrome(options=options) # 定义爬取函数 def scrape_python_jobs(): url = "https://www.51job.com/" driver.get(url) time.sleep(3) # 等待页面加载 # 搜索“Python”相关职位 search_box = driver.find_element("name", "keyword") search_box.send_keys("Python") search_button = driver.find_element("class name", "btn") search_button.click() time.sleep(3) job_data = [] while True: soup = BeautifulSoup(driver.page_source, 'html.parser') jobs = soup.find_all("div", class_="joblist_li") for job in jobs: title = job.find("a", class_="jname").text.strip() if job.find("a", class_="jname") else "N/A" company = job.find("span", class_="company_name").text.strip() if job.find("span", class_="company_name") else "N/A" location = job.find("span", class_="location_name").text.strip() if job.find("span", class_="location_name") else "N/A" salary = job.find("p", class_="offer").text.strip() if job.find("p", class_="offer") else "N/A" job_data.append({ "Title": title, "Company": company, "Location": location, "Salary": salary }) # 判断是否还有下一页 next_page = driver.find_elements("class name", "next") if not next_page or "disabled" in next_page[0].get_attribute("class"): break next_page[0].click() time.sleep(3) return job_data # 爬取数据 data = scrape_python_jobs() # 保存为CSV文件 df = pd.DataFrame(data) df.to_csv("python_jobs.csv", index=False, encoding="utf-8-sig") # 关闭浏览器 driver.quit() ``` #### 2. 数据清洗 在将数据保存为CSV文件后，需要对数据进行清洗以确保其质量。常见的清洗操作包括去除空值、统一薪资格式等[^4]。 ```python import pandas as pd # 读取CSV文件 df = pd.read_csv("python_jobs.csv") # 数据清洗 df.dropna(inplace=True) # 删除空值行 df['Salary'] = df['Salary'].apply(lambda x: re.sub(r'[^\d.-]', '', x)) # 清洗薪资字段 # 保存清洗后的数据 df.to_csv("cleaned_python_jobs.csv", index=False, encoding="utf-8-sig") ``` #### 3. 数据可视化 使用`Matplotlib`和`Seaborn`库对数据进行可视化展示。例如，绘制薪资分布图或词云图。 - **薪资分布图**： ```python import matplotlib.pyplot as plt import seaborn as sns # 绘制薪资分布图 plt.figure(figsize=(10, 6)) sns.histplot(df['Salary'].astype(float), bins=20, kde=True) plt.title("Python Job Salary Distribution") plt.xlabel("Salary") plt.ylabel("Frequency") plt.show() ``` - **职位信息词云**： ```python from wordcloud import WordCloud import jieba # 合并所有职位描述 text = " ".join(df['Title']) # 使用jieba分词 cut_text = jieba.lcut(text) result = " ".join(cut_text) # 生成词云 wc = WordCloud(font_path="simhei.ttf", background_color="white", width=800, height=400) wc.generate(result) # 显示词云 plt.figure(figsize=(10, 6)) plt.imshow(wc, interpolation="bilinear") plt.axis("off") plt.show() ``` #### 4. 总结 通过上述方法，可以高效地从51job网站上爬取Python相关职位信息，并将其保存为CSV文件。同时，利用数据清洗和可视化技术，能够更好地分析和展示数据中的趋势与模式[^3]。