### 使用Python实现学堂在线课程信息的网页爬虫 #### 准备工作 为了顺利抓取学堂在线平台上的课程信息，需先安装必要的库。主要依赖`requests`用于发送HTTP请求以及`pandas`处理并保存数据至CSV文件。 ```bash pip install requests pandas beautifulsoup4 ``` #### 获取动态加载的数据 由于部分网站采用异步加载技术展示内容，在浏览器开发者工具中的Network面板可以捕捉实际API调用情况。对于学堂在线而言，定位到具体携带所需课程详情（如名称、教师、院校及注册数）的接口链接至关重要[^2]。 #### 编写爬虫代码 下面是一份简单的Python脚本实例，它能够访问指定URL获取JSON响应，并从中提取目标字段： ```python import json import requests from bs4 import BeautifulSoup import pandas as pd def get_courses_data(url): headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', } response = requests.get(url, headers=headers) soup = BeautifulSoup(response.text,'html.parser') script_tag = soup.find('script', {'type':'application/json'}) data = json.loads(script_tag.string.strip()) courses_list = [] for course_info in data['courseList']: title = course_info.get('title','未知') teacher = course_info.get('teacherName','未提供') school = course_info.get('schoolName','无关联高校') student_count = course_info.get('studentCount','-') courses_list.append([title, teacher, school, student_count]) df = pd.DataFrame(courses_list, columns=['课程名', '讲师姓名', '所在学校', '选修人数']) return df if __name__ == '__main__': url = "https://www.xuetangx.com/api/v1/course/discovery/courses/?page=1&category=computer&page_size=96" dataframe = get_courses_data(url) output_file_path = './courses.csv' dataframe.to_csv(output_file_path, index=False, encoding='utf_8_sig') ``` 这段代码定义了一个函数`get_courses_data()`接收一个参数作为要查询的目标网址。通过向此地址发起GET请求获得HTML文档；接着利用BeautifulSoup解析DOM结构寻找内嵌有课程列表数据的JavaScript对象；最后把每门课的关键属性组合成Pandas DataFrame形式以便后续操作——比如导出为Excel表格或CSV文件格式存储于本地磁盘上[^3]。 请注意上述示例仅适用于公开可读资源，如果遇到需要身份验证才能查看的内容，则可能还需要额外考虑认证机制的设计与实现[^4]。