### 使用Python爬虫抓取2024软科大学排名前50名的数据 为了完成这一目标，可以采用`requests`和`BeautifulSoup`库来获取并解析网页内容。以下是具体方法： 对于发起HTTP请求部分，利用`requests.get()`函数向指定URL发送GET请求，并设置合适的headers模拟浏览器行为以绕过简单的反爬措施[^2]。 ```python import requests from bs4 import BeautifulSoup url = 'https://www.shanghairanking.cn/rankings/bcur/2024' # 假设这是2024年软科大学排名页面的链接 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url=url, headers=headers) html_content = response.text ``` 接着，创建一个`BeautifulSoup`对象用于解析HTML文档结构，定位到包含学校名称及其对应排名的具体标签位置。通常情况下，这些信息会被放置于表格内或是具有特定类名(class name)或ID属性的div容器之中。 ```python soup = BeautifulSoup(html_content, 'lxml') university_ranking_list = [] for item in soup.find_all('tr'): # 遍历所有的<tr>标签，即每一行记录 columns = item.find_all(['td', 'th']) # 获取当前行中的<td>和<th> try: rank = int(columns[0].text.strip()) # 排名列通常是第一个单元格 university_name = columns[1].text.strip() # 大学名字可能是第二个单元格 if rank <= 50: # 只保存排名前50位的信息 university_ranking_list.append({ 'rank': rank, 'name': university_name }) except Exception as e: continue # 如果遇到异常则跳过该条目 ``` 最后一步就是将收集好的数据存储下来以便后续分析使用。可以选择将其导出成CSV文件或者其他格式方便查看的形式。 ```python import pandas as pd df = pd.DataFrame(university_ranking_list) df.to_csv('./top_50_universities.csv', index=False, encoding='utf-8-sig') # 将结果保存为csv文件 ``` 上述代码片段展示了如何构建基本框架去抓取所需信息，在实际操作过程中可能还需要针对具体的网站结构调整选择器路径以及处理其他可能出现的问题，比如分页加载更多数据等情况[^4]。