要使用 Python 爬取网页内容，可以使用 `requests` 库来发送 HTTP 请求，并使用 `BeautifulSoup` 库来解析 HTML 内容。下面是一个完整的示例，展示如何爬取百度首页（https://www.baidu.com/）的网页内容，并提取部分信息。 --- ### ✅ 示例代码： ```python import requests from bs4 import BeautifulSoup # 设置请求头，模拟浏览器访问，避免被反爬虫机制拦截 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36' } # 发送GET请求 url = 'https://www.baidu.com/' response = requests.get(url, headers=headers) # 判断请求是否成功 if response.status_code == 200: print("请求成功！") # 获取网页内容 html_content = response.text # 使用BeautifulSoup解析HTML soup = BeautifulSoup(html_content, 'html.parser') # 示例：提取网页标题 title = soup.title.string print("网页标题为：", title) # 示例：提取所有链接 links = soup.find_all('a') for link in links[:10]: # 只展示前10个链接 href = link.get('href') text = link.get_text(strip=True) if href and text: print(f"文本：{text} -> 链接：{href}") # 保存网页内容到本地文件（可选） with open('baidu.html', 'w', encoding='utf-8') as f: f.write(html_content) print("网页内容已保存到 baidu.html 文件中。") else: print(f"请求失败，状态码：{response.status_code}") ``` --- ### 🔍 代码说明： 1. **requests.get()**： - 向目标 URL 发送 HTTP GET 请求。 - `headers` 是为了模拟浏览器访问，防止被网站识别为爬虫。 2. **response.status_code**： - 检查是否请求成功，200 表示成功。 3. **BeautifulSoup**： - 用于解析 HTML 文本，方便提取标题、链接、段落等结构化内容。 4. **soup.title.string**： - 获取网页的标题。 5. **soup.find_all('a')**： - 提取所有超链接标签 `<a>`。 6. **保存 HTML 内容**： - 可将网页内容保存到本地文件中，便于后续分析或调试。 --- ### ⚠️ 注意事项： - 百度等大型网站可能有反爬虫机制（如验证码、IP限制），此时可以考虑使用 Selenium、代理 IP 或登录模拟等方式。 - 如果你只是测试目的，可以使用 `User-Agent` 模拟浏览器访问，但请不要频繁请求以免影响服务器。 - 遵守目标网站的 `robots.txt` 规则，尊重网站的爬取政策。 --- ###