### Python 抓取关键信息的方法 在 Python 中抓取关键信息通常涉及以下几个方面：发送请求获取网页内容、解析 HTML 文档以及提取所需的关键数据。以下是几种常见的方法及其示例。 #### 使用 `requests` 和 `BeautifulSoup` 这种方法适用于大多数静态网页的内容抓取。通过 `requests` 库获取网页源码，再使用 `BeautifulSoup` 解析文档并定位目标数据位置[^1]。 ```python import requests from bs4 import BeautifulSoup url = "http://example.com" response = requests.get(url) soup = BeautifulSoup(response.text, 'html.parser') # 提取标题 title = soup.find('h1').text.strip() print(f"Title: {title}") # 假设我们要提取所有的链接 links = [] for a_tag in soup.find_all('a'): link = a_tag.get('href') links.append(link) print(links) ``` 此代码片段展示了如何从指定 URL 的页面中提取 `<h1>` 标签中的文本和所有超链接地址。 --- #### 使用正则表达式 (`re`) 进行匹配 对于某些特定格式的数据（如 JSON 字符串嵌套在 HTML 页面中），可以借助正则表达式来快速找到目标字段[^3]。 ```python import re html_content = """ <div> <p>用户名：<span id="username">JohnDoe</span></p> <p>年龄：<span id="age">28</span></p> </div> """ pattern_username = r'id="username">(.*?)<' pattern_age = r'id="age">(.*?)<' match_username = re.search(pattern_username, html_content, re.S) if match_username: username = match_username.group(1).strip() match_age = re.search(pattern_age, html_content, re.S) if match_age: age = match_age.group(1).strip() print(f"Username: {username}, Age: {age}") ``` 这段代码演示了如何利用正则表达式从一段简单的 HTML 片段中提取用户的姓名和年龄。 --- #### 结合 API 数据接口的方式 如果目标网站提供了公开的 RESTful API，则可以直接调用这些接口而无需手动解析整个 HTML 页面[^4]。 ```python import requests api_url = "https://jsonplaceholder.typicode.com/posts" response = requests.get(api_url) data = response.json() for post in data[:5]: print(post['id'], post['title']) ``` 这里我们访问了一个模拟博客文章的服务端点，并打印出了前五条记录的文章 ID 及其标题。 --- #### 将结果保存至 CSV 文件 当完成数据采集之后，可能还需要进一步处理或者存储下来以便后续分析。下面是一个例子展示怎样把之前得到的结果写入到 CSV 文件当中去[^3]。 ```python import csv results = [ {"username": "Alice", "content": "Hello world!", "replytime": "2023-01-01"}, {"username": "Bob", "content": "Nice to meet you.", "replytime": "2023-01-02"} ] with open('output.csv', mode='w', newline='', encoding='utf-8') as file: fieldnames = ['username', 'content', 'replytime'] writer = csv.DictWriter(file, fieldnames=fieldnames) writer.writeheader() writer.writerows(results) ``` 以上脚本会创建一个新的名为 `output.csv` 的文件并将两个虚拟回复者的信息存进去。 ---