### 编写网页爬虫的代码示例 以下是一个基于 Python 的简易网页爬虫代码示例，它利用 `requests` 库发送 HTTP 请求，并使用 `BeautifulSoup` 解析 HTML 文档。此代码可以从目标网页中提取特定的内容并将其保存到本地文件。 #### 代码示例 ```python import requests from bs4 import BeautifulSoup # 发送HTTP请求获取HTML内容 url = "https://example.com" response = requests.get(url) if response.status_code == 200: html_content = response.text # 使用BeautifulSoup解析HTML文档 soup = BeautifulSoup(html_content, features='html.parser') # 提取所需数据（例如所有的标题标签） titles = [] for title_tag in soup.find_all('h1'): titles.append(title_tag.get_text()) # 将结果保存到本地文件 with open("output.txt", "w", encoding="utf-8") as file: for title in titles: file.write(f"{title}\n") print("爬取完成，结果已保存至 output.txt 文件中。") ``` 这段代码展示了如何通过 `requests` 获取网页内容[^1]，并通过 `BeautifulSoup` 进行解析[^4]。最终，提取的数据被存储在一个名为 `output.txt` 的文本文件中。 --- ### 数据结果展示 假设目标网页包含多个 `<h1>` 标签作为文章标题，则运行上述代码后，`output.txt` 中可能显示如下内容： ``` 欢迎来到我们的网站 最新新闻更新 产品发布说明 联系我们 ``` 这些是从网页中提取出来的所有 `<h1>` 标签内的纯文本内容。如果需要更复杂的结构化数据，还可以进一步扩展代码逻辑以支持 JSON 或 CSV 输出格式[^2]。 --- ### 动态加载内容处理 对于某些依赖 JavaScript 渲染或动态加载内容的网页，仅依靠 `requests` 和 `BeautifulSoup` 可能无法满足需求。此时可考虑引入 Selenium 或 Playwright 等工具来模拟真实用户的交互行为[^3]。以下是使用 Selenium 的一个简单例子： #### 基于 Selenium 的动态内容爬取 ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By import time service = Service(executable_path="/path/to/chromedriver") driver = webdriver.Chrome(service=service) driver.get("https://example-dynamic-page.com") time.sleep(5) # 等待页面完全加载 dynamic_data = driver.find_elements(By.CLASS_NAME, 'data-class') for data in dynamic_data: print(data.text) driver.quit() ``` 在此案例中，Selenium 负责启动浏览器实例并等待页面中的动态内容加载完毕后再执行后续操作。 ---