### 在 Scrapy 中添加 Referer 请求头的方法 在 Scrapy 中，可以通过多种方式为请求添加 `Referer` 请求头。以下是一些常用的方法，并结合相关引用进行说明。 #### 方法一：直接在 Request 中设置 Headers 可以在创建 `scrapy.Request` 对象时，通过参数 `headers` 添加 `Referer` 请求头。例如： ```python headers = { 'Referer': 'https://www.example.com' } request = scrapy.Request(url='https://www.target.com', headers=headers, callback=self.parse) ``` 这种方式允许用户在每次发送请求时动态地指定不同的 `Referer` 值[^1]。 #### 方法二：在 Spider 类中定义全局 Headers 如果需要为整个 Spider 设置统一的 `Referer` 请求头，可以在 Spider 类中定义一个全局变量 `headers`，并在每次生成请求时使用该变量。例如： ```python class ExampleSpider(scrapy.Spider): name = "example" allowed_domains = ["example.com"] start_urls = ['https://www.example.com/'] headers = { "Referer": "https://www.example.com", "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0" } def parse(self, response): yield scrapy.Request(url='https://www.target.com', headers=self.headers, callback=self.parse) ``` 这种方法适用于所有请求都需要相同的 `Referer` 和其他头部信息的情况[^2]。 #### 方法三：使用默认请求头（DEFAULT_REQUEST_HEADERS） Scrapy 提供了一个配置项 `DEFAULT_REQUEST_HEADERS`，可以用于为所有的请求设置默认的头部信息。在项目的 `settings.py` 文件中添加如下内容即可： ```python DEFAULT_REQUEST_HEADERS = { 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'en', 'Referer': 'https://www.example.com' } ``` 这样，所有未显式指定 `Referer` 的请求都会自动携带此默认值[^3]。 #### 方法四：通过 Meta 参数传递 Referer 除了直接设置 Headers 外，还可以通过 `meta` 参数来传递 `Referer`，Scrapy 会自动将其添加到请求头中。例如： ```python yield scrapy.Request( url='https://www.target.com', meta={'referer': 'https://www.example.com'}, callback=self.parse ) ``` 在这种情况下，Scrapy 会根据 `meta` 中的 `referer` 字段自动生成对应的 `Referer` 请求头[^3]。 ### 注意事项 - 如果同时设置了 `headers` 和 `meta` 中的 `referer`，通常以 `headers` 的优先级更高。 - 确保 `Referer` 的值是合法且符合目标网站要求的 URL，否则可能会导致请求失败或被拒绝。 ```python # 示例代码 class MySpider(scrapy.Spider): name = "my_spider" allowed_domains = ["example.com"] def start_requests(self): headers = { 'Referer': 'https://www.example.com', 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0' } yield scrapy.Request(url='https://www.target.com', headers=headers, callback=self.parse) def parse(self, response): # 解析逻辑 pass ```