### Python 实现爬取网站招聘信息的方法 以下是基于 `requests` 和 `BeautifulSoup` 的简单示例代码，用于演示如何编写一个基础的 Python 网络爬虫来获取网站上的招聘信息。此代码假设目标网站允许合法的数据抓取操作，并遵循其 robots.txt 文件中的规定。 #### 基础环境准备 为了运行以下代码，请先安装所需的依赖库： ```bash pip install requests beautifulsoup4 pandas ``` #### 示例代码 下面是一个简单的 Python 脚本，展示如何从假定的目标网站提取招聘信息并保存到 CSV 文件中： ```python import requests from bs4 import BeautifulSoup import csv import time def fetch_job_listings(url, headers): """发送请求并返回 HTML 内容""" response = requests.get(url, headers=headers) if response.status_code == 200: return response.text else: raise Exception(f"Failed to load page {url}") def parse_html(html_content): """解析 HTML 并提取职位信息""" soup = BeautifulSoup(html_content, 'html.parser') jobs_data = [] job_cards = soup.find_all('div', class_='job-card') # 替换为目标页面的实际标签 for card in job_cards: title = card.find('h2').text.strip() if card.find('h2') else "N/A" company = card.find('span', class_='company-name').text.strip() if card.find('span', class_='company-name') else "N/A" location = card.find('span', class_='location').text.strip() if card.find('span', class_='location') else "N/A" jobs_data.append({ 'Title': title, 'Company': company, 'Location': location }) return jobs_data def save_to_csv(data, filename="jobs.csv"): """将数据保存至 CSV 文件""" keys = data[0].keys() with open(filename, mode='w', newline='', encoding='utf-8') as file: writer = csv.DictWriter(file, fieldnames=keys) writer.writeheader() writer.writerows(data) if __name__ == "__main__": base_url = "https://example.com/jobs?page={}" # 替换为实际 URL user_agent = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} all_jobs = [] for page_num in range(1, 6): # 抓取前五页作为例子 url = base_url.format(page_num) html = fetch_job_listings(url, user_agent) parsed_data = parse_html(html) all_jobs.extend(parsed_data) time.sleep(2) # 设置延迟以避免触发反爬虫机制 [^1] save_to_csv(all_jobs) print("Data saved successfully!") ``` 以上脚本实现了以下几个功能模块： 1. **HTTP 请求**：通过 `fetch_job_listings()` 函数向目标网页发起 GET 请求。 2. **HTML 解析**：利用 `parse_html()` 提取消息的关键字段（如职位名称、公司名和地点）。 3. **数据存储**：调用 `save_to_csv()` 将收集的信息写入本地文件。 #### 反爬虫策略应对措施 如果遇到目标站点启用了较为严格的反爬虫保护，则可以尝试如下改进方案： - 使用代理 IP 或者轮询多个代理地址访问服务器； - 动态调整 User-Agent 字符串模拟不同浏览器行为； - 添加随机等待时间间隔减少频率过高带来的风险； #### 数据分析扩展建议 当成功采集大量原始数据之后，还可以借助 Pandas 库进一步清洗整理表格结构化资料以便后续统计可视化处理[^2]。