### Python 编写的网站招聘信息爬虫具体代码实现示例 以下是一个完整的 Python 爬虫代码示例，用于从招聘网站抓取职位信息。该代码基于 `requests` 和 `BeautifulSoup` 工具库，适用于静态网页的解析。 #### 1. 导入库 首先需要安装必要的第三方库： - **requests**: 用于发起 HTTP 请求。 - **beautifulsoup4**: 用于解析 HTML 页面结构。 可以通过 pip 安装这些库： ```bash pip install requests beautifulsoup4 ``` --- #### 2. 具体代码实现 ```python import requests from bs4 import BeautifulSoup # 设置请求头以模拟浏览器访问 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36", } def scrape_jobs(url): """ 抓取指定 URL 上的招聘信息 参数: url (str): 要抓取的目标网址 返回: list: 包含所有职位信息的列表 """ try: # 发起 GET 请求获取页面内容 response = requests.get(url, headers=headers) response.raise_for_status() # 如果响应失败则抛出异常 response.encoding = response.apparent_encoding # 自动检测编码 # 使用 BeautifulSoup 解析 HTML 内容 soup = BeautifulSoup(response.text, 'html.parser') # 查找所有的职位卡片（假设类名为 .job-item） job_items = soup.select('.job-item') jobs = [] # 存储职位信息的列表 for item in job_items: title = item.find('h2').get_text(strip=True) if item.find('h2') else "N/A" # 获取职位名称 company = item.find(class_='company-name').get_text(strip=True) if item.find(class_='company-name') else "N/A" # 获取公司名称 location = item.find(class_='location').get_text(strip=True) if item.find(class_='location') else "N/A" # 获取工作地点 salary = item.find(class_='salary').get_text(strip=True) if item.find(class_='salary') else "N/A" # 获取薪资范围 # 将当前职位信息加入列表 jobs.append({ "title": title, "company": company, "location": location, "salary": salary }) return jobs except Exception as e: print(f"Error occurred while scraping: {e}") return [] if __name__ == "__main__": target_url = "https://example.com/jobs" # 替换为目标招聘网站的实际链接 scraped_data = scrape_jobs(target_url) # 输出前五条数据作为验证 for idx, job in enumerate(scraped_data[:5], start=1): print(f"{idx}. Title: {job['title']}, Company: {job['company']}, Location: {job['location']}, Salary: {job['salary']}") ``` --- #### 3. 关键点说明 - **Headers 设置**：通过设置合理的 User-Agent 字符串，可以有效规避一些基本的反爬策略[^1]。 - **CSS Selector**：`.job-item`, `.company-name`, `.location`, `.salary` 是假定的 CSS 类名，请根据实际目标网站结构调整选择器[^2]。 - **错误处理**：使用 `try-except` 结构捕获可能发生的网络或解析错误，增强程序稳定性[^3]。 --- #### 4. 数据存储扩展 如果需要将抓取的数据保存到本地文件中，可以修改代码如下： ##### 保存为 JSON 文件 ```python import json with open("jobs.json", "w", encoding="utf-8") as f: json.dump(scraped_data, f, ensure_ascii=False, indent=4) print("Data has been saved to jobs.json") ``` ##### 保存为 CSV 文件 ```python import csv keys = ["title", "company", "location", "salary"] with open("jobs.csv", "w", newline="", encoding="utf-8") as csvfile: writer = csv.DictWriter(csvfile, fieldnames=keys) writer.writeheader() writer.writerows(scraped_data) print("Data has been saved to jobs.csv") ``` --- ###