### 使用 Python 获取网页源码的方法 要通过 Python 截取指定网址的网页源码，通常会使用 `requests` 库发送 HTTP 请求并获取响应数据。以下是具体实现方法： #### 安装依赖库 首先需要安装 `requests` 库，如果尚未安装该库，则可以通过以下命令完成安装： ```bash pip install requests ``` #### 实现代码示例 下面是一个完整的代码示例，用于获取 https://www.sina.com.cn 的网页源码。 ```python import requests url = 'https://www.sina.com.cn' # 指定目标网址 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } # 设置请求头以模拟浏览器访问 try: response = requests.get(url, headers=headers, timeout=10) # 发送 GET 请求 response.raise_for_status() # 如果状态码不是 200 则抛出异常 response.encoding = response.apparent_encoding # 自动检测编码方式 print(response.text) # 输出网页源码 except Exception as e: print(f"发生错误: {e}") ``` #### 关键点说明 - **设置 User-Agent**: 很多网站会对爬虫进行限制，因此建议在请求头中加入合法的 `User-Agent` 字段[^1]。 - **处理超时**: 添加 `timeout` 参数可以防止程序因网络问题而无限等待。 - **自动识别编码**: 使用 `response.apparent_encoding` 可以解决部分中文乱码问题[^1]。 --- ### 注意事项 某些现代网站可能采用动态加载技术（如 JavaScript 渲染），此时仅靠 `requests` 并无法完全抓取到页面内容。对于这种情况，推荐使用 Selenium 或 Playwright 等工具来模拟浏览器行为。 #### 动态渲染解决方案 如果发现上述代码未能成功提取所需内容，可尝试如下方案： ```python from selenium import webdriver from selenium.webdriver.chrome.service import Service from selenium.webdriver.common.by import By service = Service('path/to/chromedriver') # 替换为本地 chromedriver 路径 options = webdriver.ChromeOptions() options.add_argument('--headless') # 隐藏浏览器窗口运行 driver = webdriver.Chrome(service=service, options=options) url = 'https://www.sina.com.cn' driver.get(url) page_source = driver.page_source # 获取完整 HTML 页面源码 print(page_source) driver.quit() # 结束 WebDriver 进程 ``` 此方法适用于复杂场景下的网页抓取需求[^2]。 ---