<think>首先，用户的问题是基于提供的引用内容。引用是关于Python的urllib2库用于编写爬虫程序的示例。用户说："我想查找urllib2用于编写爬虫程序方面示例 请问urllib2编写爬虫程序示例"。所以，我需要根据引用内容提供urllib2的爬虫示例。 回顾引用： - 引用[1]：讨论了urllib2通过URL抓取网页内容，包括创建FTP请求。 - 引用[2]：展示了一个简单的爬取示例，使用urllib.request（注意，urllib2在Python 3中被整合到urllib.request）。 - 引用[3]：直接使用urllib2模拟浏览器请求。 - 引用[4]：关于urllib的使用，包括urlunparse。 - 引用[5]：另一个爬虫示例，使用urllib.request。 用户提到了urllib2，但引用中有些使用urllib.request，因为在Python 3中，urllib2被移除了，其功能被整合到urllib.request。所以，我应该解释这一点。 我的回答需要： - 使用中文。 - 结构清晰，帮助用户逐步解决问题。 - 保证回答真实可靠。 - 在行内数学表达式使用$...$格式（但在这个主题中可能不需要数学，所以可能不适用）。 - 独立公式用$$...$$格式（同样，可能不需要）。 - LaTeX语法正确（如果需要）。 - 生成相关问题。 - 在引用的段落末尾添加引用标识，如[^1]。 回答结构： 1. **介绍urllib2**：解释urllib2是什么，以及它在Python 2和3中的区别。 2. **提供示例**：根据引用，给出urllib2的爬虫程序示例。引用[3]有直接使用urllib2的代码，引用[2]和[5]使用urllib.request，但可以适配。 3. **解释代码**：逐步解释示例代码。 4. **注意事项**：讨论常见问题，如设置User-Agent等。 5. **生成相关问题**：在最后添加相关问题。 关键点： - 用户要求的是urllib2示例，所以我应该优先使用引用[3]的代码。 - 引用[3]的代码是Python 2风格，因为使用urllib2。在Python 3中，建议使用urllib.request。 - 我应该提醒用户版本差异。 示例代码： - 从引用[3]：模拟浏览器请求。 ```python #coding:utf-8 import urllib2 ua_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0" } request = urllib2.Request("http://baidu.com/", headers=ua_headers) response = urllib2.urlopen(request) html = response.read() print html print response.getcode() # 返回响应码 print response.geturl() # 返回实际url print response.info() # 返回服务器响应的报头 ``` - 这是一个完整的爬虫示例。 解释步骤： 1. 导入模块：import urllib2 2. 设置headers：定义User-Agent来模拟浏览器。 3. 创建Request对象：指定URL和headers。 4. 发送请求：使用urlopen获取响应。 5. 读取内容：response.read()获取网页内容。 6. 打印信息：响应码、URL、报头等。 在Python 3中，urllib2被弃用，应该使用urllib.request。所以，我可以提供Python 3的等效代码： - 使用urllib.request.Request和urllib.request.urlopen。 - 从引用[2]或[5]改编。 例如： ```python import urllib.request ua_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36" } request = urllib.request.Request("http://baidu.com/", headers=ua_headers) response = urllib.request.urlopen(request) html = response.read().decode("utf-8") print(html) print(response.getcode()) print(response.geturl()) print(response.info()) ``` 在回答中，我应该先提供Python 2的示例（因为用户明确说urllib2），然后提到Python 3的差异。 添加引用标识： - 当引用具体内容时，在末尾加[^1], [^2]等。例如，解释代码时，如果基于引用[3]，就说"如引用[3]所示"。 生成相关问题： - 在最后添加"§§相关问题§§"部分，列出2-3个相关问题。例如： 1. 如何在urllib2中处理POST请求？ 2. urllib2在Python 3中的替代方案是什么？ 3. 如何避免爬虫被网站屏蔽？ 确保回答真实可靠：基于提供的引用，不添加外部知识。 最终回答结构： 1. 介绍urllib2及其用途。 2. 提供一个完整的爬虫程序示例（基于引用[3]）。 3. 解释代码步骤。 4. 讨论Python 3中的变化。 5. 添加相关问题。 </think> ### urllib2 编写爬虫程序示例 urllib2 是 Python 2 中用于处理 HTTP 请求的标准库，常用于编写网络爬虫。它支持 URL 请求、头部定制、响应处理等功能。以下基于引用内容，提供一个完整的爬虫程序示例（使用 Python 2 语法），并逐步解释代码逻辑。注意：在 Python 3 中，urllib2 已被整合到 `urllib.request` 模块中，我会在最后说明差异。 #### 示例代码：模拟浏览器请求爬取网页 以下代码演示如何使用 urllib2 抓取百度首页内容，并模拟浏览器 User-Agent 避免被反爬虫机制拦截[^3]： ```python #coding:utf-8 import urllib2 # 导入 urllib2 模块 # 设置请求头，模拟浏览器访问（关键步骤，避免被网站屏蔽） ua_headers = { "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0" } # 创建 Request 对象，指定 URL 和头部 request = urllib2.Request("http://baidu.com/", headers=ua_headers) # 发送请求并获取响应 response = urllib2.urlopen(request) # 读取响应内容（网页 HTML） html = response.read() # 输出结果 print html print response.getcode() # 打印 HTTP 状态码（如 200 表示成功） print response.geturl() # 打印实际请求的 URL（可能含重定向） print response.info() # 打印服务器响应的头部信息 ``` #### 代码逐步解释 1. **导入模块**： `import urllib2` 是核心模块，用于处理网络请求。 2. **设置请求头**： 通过 `ua_headers` 字典定义 User-Agent，模拟真实浏览器访问。这是爬虫关键步骤，可绕过简单反爬机制[^3][^5]。 3. **创建 Request 对象**： `urllib2.Request(url, headers=headers)` 构建请求对象，指定目标 URL 和头部信息。 4. **发送请求**： `urllib2.urlopen(request)` 执行请求，返回一个响应对象。支持 HTTP、FTP 等协议[^1]。 5. **处理响应**： - `response.read()` 获取网页二进制内容，需解码（如 `.decode("utf-8")`）为字符串。 - `response.getcode()` 返回 HTTP 状态码（如 200 表示成功）。 - `response.geturl()` 获取实际 URL（处理重定向时有用）。 - `response.info()` 返回响应头部（如 Content-Type）[^3]。 #### Python 3 中的调整 在 Python 3 中，urllib2 功能被合并到 `urllib.request`。以下是等效代码： ```python import urllib.request headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36" } request = urllib.request.Request("http://baidu.com/", headers=headers) response = urllib.request.urlopen(request) html = response.read().decode("utf-8") # 注意需显式解码 print(html) ``` 主要差异： - 模块名改为 `urllib.request`。 - 字符串处理需手动解码（如 `.decode("utf-8")`）。 - 打印函数使用 `print()`[^2][^5]。 #### 注意事项 - **反爬虫策略**：始终设置 User-Agent，复杂场景可添加 Cookie 或延时请求。 - **错误处理**：使用 `try-except` 捕获 `urllib2.URLError` 异常（如超时或 404 错误）。 - **数据解析**：获取 HTML 后，可用 BeautifulSoup 等库提取结构化数据[^2][^5]。 - **适用场景**：适合简单爬取任务，复杂需求（如登录、异步）建议用 requests 或 Scrapy 库。