### 使用 Python 编写爬虫程序抓取浙江理工大学招生计划数据并保存为 Excel 文件 以下是完整的解决方案，包括代码示例和详细的注释说明： #### 1. 数据采集部分 为了抓取浙江理工大学的招生计划数据，可以使用 `requests` 和 `BeautifulSoup` 来解析静态页面内容。如果目标网站的数据由 JavaScript 动态加载，则可能需要借助 Selenium 或 Pyppeteer 进行模拟浏览器操作。 ```python import requests from bs4 import BeautifulSoup import pandas as pd # 设置请求头以模仿真实浏览器访问 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 发起 GET 请求获取网页内容 url = "https://zjc.zstu.edu.cn/" # 假设这是浙江理工大学招生计划页面的 URL response = requests.get(url, headers=headers) # 解析 HTML 内容 soup = BeautifulSoup(response.text, 'html.parser') # 查找表格或其他结构化数据区域（假设数据位于某个特定标签内） data_table = soup.find('table') # 替换为实际的目标标签名 # 提取表头和数据行 header_row = data_table.find_all('th') headers = [header.text.strip() for header in header_row] rows = [] for row in data_table.find_all('tr')[1:]: cells = row.find_all(['td', 'th']) rows.append([cell.text.strip() for cell in cells]) print(f"成功提取 {len(rows)} 行数据") # 打印日志信息[^1] ``` --- #### 2. 数据存储部分 将提取到的数据转换为 Pandas 的 DataFrame 并保存为 Excel 文件。 ```python # 转换为 DataFrame df = pd.DataFrame(rows, columns=headers) # 将 DataFrame 存储为 Excel 文件 output_file = 'zstu_admission_plan.xlsx' # 输出文件名称 df.to_excel(output_file, index=False, engine='openpyxl') print(f"数据已成功保存至 {output_file}") # 打印日志信息[^1] ``` --- #### 3. 处理动态加载内容（可选扩展） 如果目标网页依赖于 JavaScript 加载数据，则可以通过以下方法解决： ##### 方法一：Selenium 模拟浏览器行为 安装 Selenium 及其驱动器后，可以运行如下代码来捕获动态渲染的内容。 ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By from time import sleep # 配置 WebDriver service = Service(executable_path='/path/to/chromedriver') # 更改为本地 chromedriver 路径 driver = webdriver.Chrome(service=service) try: driver.get(url) sleep(5) # 等待页面完全加载 # 获取动态生成的表格内容 table_element = driver.find_element(By.TAG_NAME, 'table') # 替换为目标元素的选择器 html_content = table_element.get_attribute('outerHTML') # 使用 BeautifulSoup 继续解析 dynamic_soup = BeautifulSoup(html_content, 'html.parser') finally: driver.quit() ``` ##### 方法二：分析 API 接口 许多动态网页通过 AJAX 请求从服务器拉取 JSON 数据。可以直接调用这些接口而无需模拟浏览器。 ```python api_url = "http://example.com/api/admissions" # 替换为实际的 API 地址 params = {"year": "2023", "university": "ZSTU"} # 根据实际情况调整参数 response = requests.get(api_url, params=params, headers=headers) if response.status_code == 200: json_data = response.json() # 将 JSON 数据转化为 DataFrame df_api = pd.DataFrame(json_data['results']) # 假设返回的结果字段名为 results output_file_json = 'admission_plan_from_api.xlsx' df_api.to_excel(output_file_json, index=False, engine='openpyxl') else: print("API 请求失败") ``` --- ### 总结 以上代码展示了如何利用 Python 抓取浙江理工大学的招生计划数据，并将其保存为 Excel 文件。对于静态页面，推荐使用 `requests` 和 `BeautifulSoup`；而对于动态加载的内容，可以选择 Selenium 或直接调用后台 API。