在编写Python爬虫以获取网络安全相关的数据时，可以使用`requests`库发起HTTP请求，结合`BeautifulSoup`解析HTML内容。以下是一个示例代码，展示如何从某个网络安全相关的网站（例如CVE漏洞数据库）抓取公开的漏洞信息。 ```python import requests from bs4 import BeautifulSoup import time # 设置目标URL（以CVE漏洞数据库为例） url = "https://cve.mitre.org/cgi-bin/cvekey.cgi?keyword=cybersecurity" # 设置请求头，模拟浏览器访问，避免被反爬虫机制拦截 headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36" } # 发起GET请求 response = requests.get(url, headers=headers) # 检查响应状态码是否为200（成功） if response.status_code == 200: # 使用BeautifulSoup解析HTML内容 soup = BeautifulSoup(response.text, "html.parser") # 查找包含CVE条目的表格 cve_table = soup.find("div", {"id": "Table"}).find("table") # 遍历表格中的每一行 rows = cve_table.find_all("tr")[1:] # 跳过表头 for row in rows: cols = row.find_all("td") if len(cols) > 1: cve_id = cols[0].text.strip() description = cols[1].text.strip() print(f"CVE ID: {cve_id}\nDescription: {description}\n{'-' * 60}") else: print(f"Failed to retrieve data. Status code: {response.status_code}") ``` ### 说明 - **requests**：用于发送HTTP请求并获取网页内容。 - **BeautifulSoup**：用于解析HTML文档，提取所需数据。 - **headers**：模拟浏览器请求，有助于绕过部分反爬虫机制。 - **time.sleep()**：可选，用于在多次请求之间添加延迟，减少对目标网站的压力。 ### 注意事项 - 在爬取网站数据之前，请确保遵守目标网站的`robots.txt`协议和相关法律法规。 - 对于需要登录的网站，可以使用`requests.Session()`来维持会话并处理Cookie[^2]。 - 可以结合`Selenium`等工具处理JavaScript渲染的页面内容。 ### 扩展建议 - 可以将爬取的数据存储到CSV、JSON或数据库中，便于后续分析。 - 若目标网站使用了JavaScript动态加载数据，可考虑使用`Selenium`或`Playwright`等工具。