### 使用 Python 抓取资讯类网站内容 要完成此任务，可以利用 `requests` 库来发送 HTTP 请求以获取网页内容，并使用两种不同的解析方法提取所需的数据。以下是详细的解决方案： #### 方法一：基于正则表达式的解析 正则表达式是一种强大的工具，用于匹配字符串模式。对于简单的 HTML 结构，可以通过编写正则表达式来提取新闻标题、作者、发布时间和详细链接。 ```python import re import requests def fetch_data_with_regex(url): headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") content = response.text # 正则表达式定义 title_pattern = r'<h\d.*?>(.*?)</h\d>' author_pattern = r'class="author">(.*?)<' time_pattern = r'datetime="(.*?)"' link_pattern = r'href="(https://.*?)"' titles = re.findall(title_pattern, content, re.IGNORECASE | re.DOTALL)[^1] authors = re.findall(author_pattern, content, re.IGNORECASE | re.DOTALL)[^1] times = re.findall(time_pattern, content, re.IGNORECASE | re.DOTALL)[^1] links = re.findall(link_pattern, content, re.IGNORECASE | re.DOTALL) data = list(zip(titles, authors, times, links)) return data # 测试函数 if __name__ == "__main__": url = "https://example.com/news" result = fetch_data_with_regex(url) for item in result[:5]: print(item) ``` --- #### 方法二：基于 BeautifulSoup 的解析 BeautifulSoup 是一个功能强大且易于使用的库，专门设计用来解析 HTML 和 XML 文档。它能够更方便地处理复杂的 DOM 树结构。 ```python from bs4 import BeautifulSoup import requests def fetch_data_with_bs4(url): headers = {'User-Agent': 'Mozilla/5.0'} response = requests.get(url, headers=headers) if response.status_code != 200: raise Exception(f"Failed to load page {url}") soup = BeautifulSoup(response.content, 'html.parser') articles = soup.find_all('article') data = [] for article in articles: try: title = article.h2.a.string.strip() if article.h2 and article.h2.a else None[^2] author = article.find(class_='author').string.strip() if article.find(class_='author') else None timestamp = article.time['datetime'] if article.time and 'datetime' in article.time.attrs else None link = article.h2.a['href'].strip() if article.h2 and article.h2.a and 'href' in article.h2.a.attrs else None data.append((title, author, timestamp, link)) except AttributeError as e: continue return data # 测试函数 if __name__ == "__main__": url = "https://example.com/news" result = fetch_data_with_bs4(url) for item in result[:5]: print(item) ``` --- ### 解析说明 - **正则表达式**适合于简单场景下的快速开发，但对于复杂嵌套的 HTML 可能会显得力不从心。 - **BeautifulSoup** 提供了更高的可读性和灵活性，尤其适用于动态变化较大的页面结构。 以上两段代码均需安装依赖项： ```bash pip install requests beautifulsoup4 ``` 如果需要在 PyCharm 中运行这些脚本，请确保配置好虚拟环境并安装所需的第三方库。 --- ### 注意事项 - 需要注意目标站点是否有反爬机制（如验证码、IP 封禁等），必要时可通过设置请求头或代理 IP 来规避风险。 - 如果遇到编码问题，可以在 `response.encoding` 属性中手动指定字符集。 ---