### 使用 `requests` 库设置 HTTP 请求头 当使用 Python 中的 `requests` 库进行网页抓取时，可以通过传递字典给 `headers` 参数来设置自定义的 HTTP 头部信息。这允许模拟不同的浏览器行为或满足某些网站对于特定头部字段的要求。 #### 设置基本的 HTTP 头部 为了发送带有自定义头部信息的 GET 或 POST 请求，可以构建一个包含所需键值对的字典，并将其作为参数传入： ```python import requests url = "http://example.com" custom_headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)', 'Accept-Language': 'en-US,en;q=0.9' } response = requests.get(url, headers=custom_headers) print(response.status_code) ``` 这段代码展示了如何通过指定 `User-Agent` 和 `Accept-Language` 来伪装成常见的桌面浏览器访问页面[^2]。 #### 结合 `fake_useragent` 自动生成 User-Agent 字符串 为了避免频繁更改 `User-Agent` 值，在实际应用中通常会选择动态生成这个字符串。借助第三方包如 `fake_useragent` 可以方便地实现这一点： ```python from fake_useragent import UserAgent import requests ua = UserAgent() random_ua = ua.random url = "http://example.com" dynamic_headers = {'User-Agent': random_ua} response = requests.get(url, headers=dynamic_headers) if response.ok: print(f'Successfully fetched with {random_ua}') else: print('Failed to fetch the page.') ``` 这里利用了 `fake_useragent` 提供的功能随机选取了一个合法有效的 `User-Agent` 并成功应用于请求之中[^3]。 #### 发送 JSON 数据并附带头部信息 如果需要向服务器提交数据，则可以在同一个调用里同时指明要传送的数据体以及相应的头部配置： ```python import requests register_url = "https://api.example.com/register" json_data = {"username": "testuser", "password": "securepass"} request_header = { 'Content-Type': 'application/json', 'Authorization': 'Bearer your_token_here' # 如果有令牌认证需求的话 } response = requests.post(url=register_url, json=json_data, headers=request_header) print(response.text) ``` 此片段说明了怎样在执行 POST 方法的同时携带 JSON 载荷和必要的授权凭证等附加信息[^4]。