### Python 使用 Header 和 Cookie 进行网络请求 为了实现更复杂的网页数据抓取，设置 HTTP 请求头 (Header) 并管理 Cookies 是非常重要的技能。这不仅有助于模拟真实浏览器的行为，还可以帮助绕过某些网站的安全机制。 #### 设置 Headers Headers 可用于伪装成不同的客户端设备或浏览器版本，在发起请求时传递给服务器额外的信息。通常会修改 User-Agent 字段来模仿特定类型的访问者： ```python import requests headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36' } response = requests.get('https://example.com', headers=headers) print(response.text) ``` 此代码片段展示了如何向 `requests` 库发送 GET 请求的同时指定自定义的头部信息[^1]。 #### 处理 Cookies Cookies 存储着用户的登录状态或其他个性化配置，对于保持会话非常重要。可以利用 `requests.Session()` 来自动处理 cookies 的读写操作；也可以手动创建带 cookie 支持的 opener 对象，如下所示： ```python from http.cookiejar import CookieJar import urllib.request # 创建一个CookieJar对象来存储Cookie cookie_jar = CookieJar() # 创建一个HTTPCookieProcessor对象，并将CookieJar对象作为参数传入 cookie_processor = urllib.request.HTTPCookieProcessor(cookie_jar) # 创建一个自定义的opener，将HTTPCookieProcessor对象作为参数传入 opener = urllib.request.build_opener(cookie_processor) # 发送带有cookies的支持的GET请求 url = "http://example.com" request = urllib.request.Request(url=url, headers=headers) response = opener.open(request) # 输出返回的数据 content = response.read().decode() print(content) ``` 这段脚本说明了怎样构建支持 cookies 的 opener 实例，并将其应用于实际 URL 访问中[^2]。 另外，如果需要直接设定具体的 cookie 值，则可以通过构造字典形式的 cookies 参数来进行： ```python session = requests.Session() cookies_dict = {'key_name':'value'} session.cookies.update(cookies_dict) resp = session.get('https://example.com') print(resp.content.decode()) ``` 这种方法允许更加灵活地控制哪些 cookies 被附加到每次发出的请求上。