### 使用 Python 编写网络爬虫抓取网页新闻 为了实现这一目标，可以利用 `requests` 和 `BeautifulSoup` 库来处理 HTML 页面并提取所需的信息。下面是一个具体的例子： #### 导入必要的库 ```python import requests from bs4 import BeautifulSoup ``` #### 获取网页内容 定义函数用于发送 HTTP 请求，并接收响应数据。 ```python def get_html(url): try: response = requests.get(url) if response.status_code == 200: return response.text else: print(f"Failed to retrieve page {url}") return None except Exception as e: print(e) return None ``` #### 解析HTML文档 创建解析器对象，查找所有的新闻条目节点，并从中抽取标题、链接以及发布时间等字段。 ```python def parse_news(html): soup = BeautifulSoup(html, 'html.parser') items = [] for item in soup.select('.list-item'): title = item.find('h3').get_text(strip=True) or '' link = item.find('a')['href'] or '' date_str = item.find(class_='time') and item.find(class_='time').text.strip() or '' news_item = { 'title': title, 'link': f"http://example.com{link}", # 假设相对路径需补全域名 'date': date_str } items.append(news_item) return items ``` 注意，在实际应用中可能需要调整 CSS Selectors 或 XPath 表达式以匹配特定站点结构[^1]。 #### 主程序逻辑 组合上述功能模块完成整个流程控制。 ```python if __name__ == '__main__': url = 'http://news.swjtu.edu.cn/ShowList-82-0-1.shtml' html_content = get_html(url) if html_content is not None: results = parse_news(html_content) for result in results[:5]: # 只显示前五项作为示例 print(result) ``` 对于动态加载的内容（如某些 AJAX 加载的页面），则需要用到像 Selenium 这样的工具模拟浏览器行为获取完整的 DOM 结构后再进行分析[^2]。