要从网站 `http://tjtc.edu.cn` 中爬取“天职要闻”部分的内容，并将标题和内容保存到文本文档，可以按照以下步骤操作： --- ### **步骤说明** #### 1. 确定目标页面结构 首先需要分析网页源码，找到存放“天职要闻”的HTML标签及对应的CSS选择器。例如，“天职要闻”可能是存放在某个 `<div>` 或 `<ul>` 标签内。 #### 2. 使用Python编写爬虫脚本 推荐使用 Python 的第三方库如 `requests` 和 `BeautifulSoup` 来完成数据抓取和解析任务。以下是示例代码： ```python import requests from bs4 import BeautifulSoup # 定义URL url = "http://tjtc.edu.cn" # 发送HTTP请求获取网页内容 response = requests.get(url) if response.status_code == 200: # 如果响应成功 html_content = response.content.decode('utf-8') # 解析编码 # 创建BeautifulSoup对象并指定解析器 soup = BeautifulSoup(html_content, 'html.parser') # 查找包含"天职要闻"的部分 (假设该部分内容在一个特定的class下) news_section = soup.find("div", class_="news-section") # 替换为实际的选择器 if news_section: items = news_section.find_all("a") # 假设每条新闻是一个<a>标签 # 打开文件准备存储结果 with open("天职要闻.txt", "w", encoding="utf-8") as f: for item in items: title = item.text.strip() # 获取新闻标题 link = item['href'] # 获取链接 # 写入标题 f.write(f"标题: {title}\n") # 进一步访问详情页提取具体内容 detail_response = requests.get(link) if detail_response.status_code == 200: detail_soup = BeautifulSoup(detail_response.content.decode('utf-8'), 'html.parser') content_div = detail_soup.find("div", class_="content-div") # 替换为目标页面的具体容器 if content_div: content_text = content_div.get_text(strip=True) # 提取消息正文 # 写入内容 f.write(f"内容:\n{content_text}\n\n---\n\n") ``` **注意**: 上述代码仅为参考框架，请根据实际 HTML 结构调整 CSS 选择器（即 `find()` 函数中的参数）。如果无法确定正确的选择器，可以通过浏览器开发者工具查看 DOM 元素及其属性。 --- #### 3. 存储结果 运行以上脚本会生成名为 `"天职要闻.txt"` 的文本文件，其中包含了所有新闻的标题以及对应的内容。 --- #### 4. 额外提示 - **反爬机制处理**: 某些网站可能会设置防爬策略（如频率限制、User-Agent验证等），需适当加入头信息模拟正常用户行为。 - 示例修改 User-Agent 请求头的方式： ```python headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36" } response = requests.get(url, headers=headers) ``` ---