### 如何用Python编写爬虫抓取全网招聘信息 #### 编写爬虫的基础步骤 为了实现从互联网上抓取招聘信息的功能，可以采用Python中的`requests`库发送HTTP请求并获取网页内容，再使用`BeautifulSoup`或`lxml`解析HTML文档提取所需的数据。此外，还可以引入一些高级功能如处理JavaScript渲染页面（借助Selenium）、规避反爬虫策略等。 以下是完整的示例代码： ```python import requests from bs4 import BeautifulSoup import time import random def fetch_job_listings(url, headers=None): """ 抓取指定URL下的招聘列表页，并返回职位信息。 参数: url (str): 要访问的目标网址。 headers (dict): 请求头信息，用于模拟浏览器行为。 返回: list: 提取出的招聘信息列表。 """ try: response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to retrieve data from {url}. Status code: {response.status_code}") soup = BeautifulSoup(response.text, 'html.parser') job_items = [] # 假设每条招聘信息都在<div class="job-item">标签下 jobs = soup.find_all('div', {'class': 'job-item'}) for job in jobs: title = job.find('h2').text.strip() if job.find('h2') else "N/A" company = job.find('span', {'class': 'company'}).text.strip() if job.find('span', {'class': 'company'}) else "N/A" location = job.find('span', {'class': 'location'}).text.strip() if job.find('span', {'class': 'location'}) else "N/A" job_info = { "title": title, "company": company, "location": location } job_items.append(job_info) return job_items except Exception as e: print(e) return [] def main(): base_url = "https://example.com/jobs?page={}" # 替换为目标网站的实际分页链接 all_jobs = [] page_number = 1 max_pages = 5 # 设置最大翻页数以防无限循环 while True and page_number <= max_pages: current_url = base_url.format(page_number) headers = {"User-Agent": "Mozilla/5.0"} # 添加自定义请求头 jobs_on_page = fetch_job_listings(current_url, headers) if not jobs_on_page: break # 如果当前页没有数据，则停止抓取 all_jobs.extend(jobs_on_page) print(f"Fetched {len(jobs_on_page)} jobs on page {page_number}.") # 随机休眠时间以降低被封禁的风险 sleep_time = random.uniform(1, 3) time.sleep(sleep_time) page_number += 1 if __name__ == "__main__": main() ``` 此脚本实现了基本的网络爬虫逻辑[^1]，能够遍历多页招聘信息并将结果保存至内存中。需要注意的是实际应用时应调整目标站点的具体结构匹配其HTML布局[^3]。 对于更复杂的场景比如动态加载的内容或者更强硬的反爬措施，则可能需要用到其他工具和技术扩展解决方案[^2]。