### 使用 Python 抓取人民网新闻数据 为了实现从人民网抓取新闻标题、作者、发布时间以及详细页面链接的功能，可以选择两种解析方法：正则表达式和 BeautifulSoup。以下是具体的实现方式。 --- #### 方法一：基于正则表达式的解析 正则表达式可以直接匹配 HTML 中的目标字段。以下是一个完整的代码示例： ```python import re import requests def fetch_news_with_regex(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") content = response.text # 定义正则表达式模式 title_pattern = r'<h1 class=".*?" >(.*?)</h1>' # 新闻标题 author_pattern = r'<span class="sourceAuthor">(.*?)</span>' # 作者 time_pattern = r'<div class="info">.*?<span>(\d{4}-\d{2}-\d{2} \d{2}:\d{2})</span>' # 发布时间 link_pattern = r'<a href="(http[s]?://people\.com\.cn.*?)">' # 链接地址 titles = re.findall(title_pattern, content, re.S)[^1] authors = re.findall(author_pattern, content, re.S)[^1] times = re.findall(time_pattern, content, re.S)[^1] links = re.findall(link_pattern, content, re.S)[^1] news_data = list(zip(titles, authors, times, links)) return news_data # 测试函数 if __name__ == "__main__": url = "https://news.people.com.cn/" result = fetch_news_with_regex(url) for item in result[:5]: print(item) ``` --- #### 方法二：基于 BeautifulSoup 的解析 BeautifulSoup 是一种更加直观的方式，适合处理复杂的 HTML 结构。以下是具体实现： ```python from bs4 import BeautifulSoup import requests def fetch_news_with_bs4(url): headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'} response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.content, 'html.parser') articles = soup.select('.fl .clearfix') # 获取新闻列表区域 news_data = [] for article in articles: try: title_tag = article.select_one('h2 a') title = title_tag.text.strip() if title_tag else None[^2] link = title_tag['href'] if title_tag and 'href' in title_tag.attrs else None[^2] meta_info = article.select_one('.col-sm-9 p span:last-child').text.split('|')[0].strip() author = meta_info.rsplit(' ', 1)[-1] if '|' in meta_info else ''[^2] time_tag = article.select_one('.col-sm-9 p span:first-child') publish_time = time_tag.text.strip() if time_tag else None news_data.append((title, author, publish_time, link)) except AttributeError as e: continue return news_data # 测试函数 if __name__ == "__main__": url = "https://news.people.com.cn/" result = fetch_news_with_bs4(url) for item in result[:5]: print(item) ``` --- ### 解析说明 - **正则表达式**适用于简单的 HTML 数据提取任务，但在面对复杂嵌套结构时可能不够灵活。 - **BeautifulSoup** 更加直观易用，支持 CSS 选择器语法，便于定位特定标签及其属性。 两者各有优劣，可根据实际情况选择合适的解析方法。 --- ### 注意事项 1. 在爬取前应确认目标网站是否允许爬虫访问，遵循 [Robots 协议][^3]。 2. 若遇到反爬措施（如 IP 封禁），可通过设置代理或调整请求频率解决。 3. 对于动态加载的内容，可能需要借助 Selenium 或 Playwright 等工具模拟浏览器行为。 ---