selenium中用useragent和cookie

### 如何在 Selenium 中设置 User-Agent 为了防止目标网站识别出请求来自自动化工具，可以自定义浏览器的 `User-Agent` 参数。以下是两种常见的实现方式： #### 方法一：通过 ChromeOptions 设置固定 User-Agent 可以在启动浏览器之前，利用 `ChromeOptions` 的 `add_argument` 方法指定一个固定的 `User-Agent` 值[^1]。 ```python from selenium import webdriver option = webdriver.ChromeOptions() # 设置固定的 User-Agent option.add_argument('user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36') driver = webdriver.Chrome(options=option) print(driver.execute_script("return navigator.userAgent")) ``` #### 方法二：动态调整 User-Agent 除了静态设定外，还可以在浏览器已经打开的情况下动态修改其 `User-Agent` 属性。这通常用于模拟不同设备访问同一页面的效果[^5]。 ```python import time from selenium import webdriver option = webdriver.ChromeOptions() browser = webdriver.Chrome(options=option) browser.get("https://www.example.com") # 动态调整 userAgent time.sleep(2) browser.execute_cdp_cmd('Network.setUserAgentOverride', { "userAgent": "Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1", "platform": "MacIntel" }) print(browser.execute_script("return navigator.userAgent")) ``` --- ### 如何在 Selenium 中管理 Cookie Selenium 提供了一系列 API 来管理和操作 Cookies，包括获取、添加和删除等功能[^2]。 #### 获取当前页面的所有 Cookies 调用 `get_cookies()` 可以获得整个页面上的所有 Cookies 列表，其中包括多个字段（如 name、value、domain 等）。如果需要将其转为适合 HTTP 请求使用的字典形式，则需手动提取 key-value 对应关系。 ```python from selenium import webdriver url = 'https://www.baidu.com' driver = webdriver.Chrome() try: driver.get(url) # 将 cookies 转换为字典格式 cookies_dict = {cookie['name']: cookie['value'] for cookie in driver.get_cookies()} print(cookies_dict) finally: driver.quit() ``` #### 向浏览器注入新的 Cookie 当某些站点依赖特定 session 或者认证状态时，可通过编程手段预先加载必要的 Cookies 数据再发起后续动作。 ```python from selenium import webdriver driver = webdriver.Chrome() driver.get('http://example.org') new_cookie = {'name': 'test_name', 'value': 'test_value'} driver.add_cookie(new_cookie) updated_cookies = driver.get_cookies() print(updated_cookies) ``` #### 清理已存在的 Cookies 有时我们希望清除掉旧有的登录凭证或者其他敏感数据以便重新验证身份逻辑；此时就可以借助于下面两个函数完成清理工作。 - **单条移除**: 使用 `delete_cookie(name)` 移除指定名称下的记录项。 - **批量清零**: 运行命令 `delete_all_cookies()` 即可一次性销毁全部存储单元。 ```python from selenium import webdriver driver = webdriver.Chrome() driver.get('http://example.org') # 删除单一 cookie if any(cookie['name'] == 'unwanted_cookie' for cookie in driver.get_cookies()): driver.delete_cookie('unwanted_cookie') # 删除所有 cookies driver.delete_all_cookies() ``` --- ### 总结以上介绍了如何在 Selenium 中灵活定制 `User-Agent` 并高效操控 Cookies 的技巧。无论是伪装成真实用户的浏览行为还是跨域保持会话连续性等问题都能迎刃而解。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

下一篇 jupyter中CART决策树算法的使用（包括详解，代码以及输出结果）

目录

selenium中用useragent和cookie

Python内容推荐

学习python爬虫看一篇就足够了之爬取《太平洋汽车》论坛及点评实战爬虫大全

基于python的反爬虫技术的研究源码数据库.zip

【Python网络爬虫】反爬虫绕过技术汇总：请求头伪装、动态页面处理与验证码破解策略

Python爬虫简单实现

Python反爬虫设计.pdf

[python练习实例源码]爬取B站小视频之随机生成浏览器的头部信息.zip

python实现浏览器自动化，实现自动打开京东购物车页面

bilibili 播放 python程序

PandasAI 数据对话实战包：零 Key 离线问 CSV + 通义千问可选（Python 源码）

爬虫代理的cookie如何生成运行

selenium2.0

使用C#发送Http请求实现模拟登陆实例

爬虫系列 一次采集.NET WebForm网站的坎坷历程.docx

C#基于HttpWebRequest实现模拟登陆

Java 爬虫服务器被屏蔽的解决方案

爬虫代码汇总文件-下载即用.zip

chromedriver-mac-arm64-149.0.7827.115(Stable).zip

moocScrapy项目实战[代码]

网站采集系统

Trailblazer-bw：B站会员购自动化辅助工具.zip

国央企创新负责人如何通过平台实现科研成果的快速识别与转化？.docx

PotPlayer自用皮肤

2-shell及常用命令-续.pdf

【电力负荷预测】项目介绍 MATLAB实现基于BO-Transformer-LSTM贝叶斯优化算法（BO）优化Transformer-LSTM组合模型进行居民用户多步电力负荷预测（含模型描述及部分示例

基于MATLAB的太阳能光伏电力仿真，模拟每日太阳能发电，可视化功率曲线，并通过数值积分计算总能量输出。.zip

MATLAB/Simulink直流电机三闭环仿真与PI及PWM控制

【MQTT协议20个致命误区】：20年IoT架构师亲历的17次生产事故复盘与9条黄金避坑法则（仅限内部技术圈流传）

切换Dify的嵌入模型后，旧文件还能直接用吗？

石墨烯超表面三次谐波增强COMSOL仿真技术及应用研究

Python算法环境三系战争终局方案：venv_poetry_conda冲突溯源图谱（基于37个真实pipdeptree快照）+ 隔离策略决策树（准确率98.6%）

爬虫系列一次采集.NET WebForm网站的坎坷历程.docx