### Python 编写网络爬虫抓取51job上的大数据和AI职位信息 为了从51job招聘网站上抓取与大数据和人工智能相关的招聘信息及岗位需求，可以采用Python中的`requests`库发送HTTP请求并利用`BeautifulSoup`或`lxml`解析HTML页面内容。此外，对于更加复杂的JavaScript渲染网页，则可能需要用到Selenium这样的工具[^1]。 #### 安装必要的库 首先安装所需的Python库： ```bash pip install requests beautifulsoup4 lxml selenium pandas openpyxl ``` #### 发送HTTP请求获取网页内容 通过`requests.get()`方法向目标URL发起GET请求，并设置合适的headers模仿真实浏览器访问，防止被服务器识别为机器人而拒绝服务： ```python import requests url = "https://search.51job.com/list/000000,000000,0000,00,9,99,%E5%A4%A7%E6%95%B0%E6%8D%AE,2,{}.html" headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url.format(1), headers=headers) content = response.text ``` #### 解析HTML结构抽取所需数据 使用`BeautifulSoup`加载返回的数据流对象，定位到包含职位详情的标签节点，提取出标题、公司名称、地点以及具体的工作描述等字段的信息： ```python from bs4 import BeautifulSoup def parse_job_list(html_content): soup = BeautifulSoup(html_content, 'lxml') jobs = [] items = soup.find_all('div', class_='el') # 假设每条记录都包裹在这个class下 for item in items: title = item.select_one('.t1').get_text(strip=True) company = item.select_one('.t2 a').get_text(strip=True) if item.select_one('.t2 a') else '' location = item.select_one('.t3').get_text(strip=True) detail_url = f"https:{item.select_one('.t1 a')['href']}" job_response = requests.get(detail_url, headers=headers).text try: desc_soup = BeautifulSoup(job_response, 'lxml') description = ''.join([p.get_text() for p in desc_soup.select('#job_detail .bmsg.job_msg.inbox p')]) jobs.append({ 'title': title, 'company': company, 'location': location, 'description': description[:100], # 只截取前100字作为示例展示 }) except Exception as e: print(f"Error processing {detail_url}: ", str(e)) return jobs ``` #### 存储采集到的结果 最后将收集好的数据保存至CSV文件或其他格式以便后续分析处理： ```python import pandas as pd jobs_data = parse_job_list(content) df_jobs = pd.DataFrame(jobs_data) df_jobs.to_excel('./ai_bigdata_positions.xlsx', index=False) print("Data has been successfully saved.") ``` 以上代码片段展示了如何构建一个简单的基于Python的Web Scraper来抓取特定类型的职位列表及其详细说明。需要注意的是，在实际部署之前应当仔细阅读目标站点的服务条款，确保遵守其规定不违反法律法规；同时也要注意控制频率以免给对方造成过重负担[^2]。