### 实现方案 为了完成这个目标，可以采用 Python 结合 BeautifulSoup 库来解析网页内容，并使用 requests 发起 HTTP 请求获取页面数据。对于分页处理，则需注意 URL 的构建方式以便于遍历多页。 #### 导入所需库 首先安装并导入必要的模块： ```python import os import time from bs4 import BeautifulSoup as soup import requests ``` #### 设置请求头与URL模板 模拟浏览器访问行为设置 User-Agent 头部信息；定义用于替换页码参数的基础 URL 模板[^1]。 ```python headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } base_url = "https://www.liepin.com/zhaopin/?key=大数据&curPage={}" ``` #### 创建文件夹存放结果 确保有地方保存抓取到的数据，在当前目录下创建名为 `data` 的子文件夹用来放置后续生成的结果文件。 ```python if not os.path.exists('data'): os.makedirs('data') ``` #### 编写爬虫逻辑 编写函数负责发起 GET 请求读取指定页面的内容，接着交给 BeautifulSoup 解析 HTML 文档结构，最后定位至包含工作列表项的位置逐一提取所需的字段值。 ```python def fetch_job_list(page_num): url = base_url.format(page_num) response = requests.get(url=url, headers=headers) page_soup = soup(response.text,"html.parser") job_items = page_soup.find_all("div", {"class": "job-item"}) jobs_data = [] for item in job_items: try: title = item.select_one('.title').get_text(strip=True) city_area = item.select_one('.area').get_text(strip=True).split('-')[:2] salary = item.select_one('.text-warning').get_text(strip=True) single_job_info={ "职位名称": title, "所在城市": "-".join(city_area), "月薪范围": salary } jobs_data.append(single_job_info) except AttributeError: continue return jobs_data ``` #### 循环调用函数执行批量操作 设定循环变量控制迭代次数对应要抓取的总页数，每次都将返回的数据追加进列表对象里再统一写出磁盘文件中。 ```python all_jobs = [] for i in range(3): current_page = i + 1 print(f'正在抓取第 {current_page} 页...') all_jobs.extend(fetch_job_list(current_page)) with open(f'data/page_{current_page}.txt', mode='w+', encoding="utf-8") as f: for line in all_jobs[(i)*len(all_jobs)//3:(i+1)*len(all_jobs)//3]: record = '\t'.join([str(x) for x in list(line.values())])+'\n' f.write(record) # 防止被封IP，适当延时 time.sleep(2) ``` 上述代码实现了对猎聘网上关于“大数据”的前三页招聘信息进行自动化采集的功能，并按照要求将每一页的数据独立存贮为文本文件。