### Python 爬虫 Headers 内容及作用 #### Host 请求头 `Host` 是 HTTP/1.1 协议中的一个必需字段，用于指定被请求资源所在的服务器主机名和端口号。通过设置 `Host` 字段可以确保请求发送到正确的服务器[^1]。 ```python import requests url = 'http://example.com' headers = { 'Host': 'example.com', } response = requests.get(url, headers=headers) print(response.status_code) ``` #### Connection 请求头 `Connection` 头部用来控制不是代理的两个节点之间的连接。它最常用于指示消息完成后应关闭还是保持打开连接。常见的值有 `keep-alive` 和 `close`。 ```python headers['Connection'] = 'keep-alive' # 或者 'close' ``` #### Accept 请求头 `Accept` 表明客户端能够接收的内容类型。例如，如果网页只提供 JSON 数据，则可以通过此头部告知服务器返回 JSON 格式的响应数据。 ```python headers['Accept'] = '*/*;q=0.8,text/html;q=0.9,application/json;q=1.0' ``` #### Accept-Encoding 请求头 `Accept-Encoding` 告诉服务端浏览器支持的数据编码方式，比如 gzip、deflate 等压缩算法。这有助于减少传输量并加快页面加载速度。 ```python headers['Accept-Encoding'] = 'gzip, deflate, br' ``` #### Accept-Language 请求头 `Accept-Language` 定义了用户偏好的自然语言和地区方言。这对于多语言网站来说非常重要，因为可以根据用户的偏好来调整显示的语言版本。 ```python headers['Accept-Language'] = 'zh-CN,zh;q=0.9,en-US;q=0.8,en;q=0.7' ``` #### User-Agent 请求头 `User-Agent` 提供有关发起请求的应用程序的信息，如操作系统名称和版本号以及 Web 浏览器详情。许多网站会根据 UA 来判断访问者的身份，并据此采取不同的策略对待自动化工具（即爬虫）。因此，在编写爬虫时通常要伪装成正常的浏览器行为模式下的 UA。 ```python headers['User-Agent'] = ('Mozilla/5.0 (Windows NT 10.0; Win64; x64)' 'AppleWebKit/537.36 (KHTML, like Gecko)' 'Chrome/91.0.4472.124 Safari/537.36') ``` #### Referer 请求头 `Referer` 记录当前页面是从哪个 URL 跳转过来的。某些站点可能会检查 referer 是否合法，从而阻止来自特定来源链接的抓取活动；另外一些则可能利用该参数实现防盗链功能。 ```python headers['Referer'] = 'https://www.example.org/' ```