python peft的最新版本是多少
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
Python内容推荐
Python_PEFT状态参数高效微调.zip
Python_PEFT状态参数高效微调
python库peft安装包
可以采用pip安装的peft安装包,包括makefile文件,此库非常有用,依赖库有torch及python,一些版本号可以自己修改,具体可查看里面的文件。该安装包用于大模型微调使用,是必不可少的依赖。
Python_使用可组合的FSDP PEFT方法对Meta Llama进行微调的脚本,以覆盖单多节点gpu支持汇总和Q.zip
python
基于PEFT的高效ChatGLM微调python源码+使用说明.zip
【资源说明】 1.项目代码均经过功能验证ok,确保稳定可靠运行。欢迎下载食用体验! 2.主要针对各个计算机相关专业,包括计算机科学、信息安全、数据科学与大数据技术、人工智能、通信、物联网等领域的在校学生、专业教师、企业员工。 3.项目具有丰富的拓展空间,不仅可作为入门进阶,也可直接作为毕设、课程设计、大作业、初期项目立项演示等用途。 4.当然也鼓励大家基于此进行二次开发。在使用过程中,如有问题或建议,请及时沟通。 5.期待你能在项目中找到乐趣和灵感,也欢迎你的分享和反馈! 【项目介绍】 基于PEFT的高效ChatGLM微调python源码+使用说明.zip `dataset`, 分词后的数据集,即在 data/ 地址下的文件夹名称 `lora_rank`, 设置 LoRA 的秩,推荐为4或8,显存够的话使用8 `per_device_train_batch_size`, 每块 GPU 上的 batch size,显存不大尽量1-2 `gradient_accumulation_steps`, 梯度累加,可以在不提升显存占用的情况下增大 batch size `save_steps`, 多少步保存一次 `save_total_limit`, 保存多少个checkpoint `learning_rate`, 学习率 `output_dir`, 模型文件保存地址
基于Python与AI的中国人民大学金融建模课程.zip
基于Python与AI的中国人民大学金融建模课程
best-of-ml-python机器学习优质开源项目合集
本精选列表包含 920 个优秀的开源项目,GitHub 和不同包管理器自动收集的各种指标
【自然语言处理】基于LoRA微调的Python代码生成优化:大模型参数高效适配技术在代码质量提升中的应用研究
内容概要:本文深入探讨了LoRA(Low-Rank Adaptation)微调技术在提升AI生成高质量Python代码能力方面的应用。文章从大模型生成代码面临的挑战入手,系统介绍了LoRA的技术原理,包括低秩分解、适配器机制及其在Transformer架构中的实现方式。随后详细说明了搭建Python开发环境、数据收集与预处理的准备工作,并通过实战代码演示了如何使用Hugging Face的PEFT库对LLaMA等大模型进行LoRA微调。同时,文章还提供了提高训练效率的梯度累积与混合精度训练方法,以及应对过拟合的策略。最后通过实际案例对比微调前后代码生成质量,验证了LoRA在功能正确性、代码结构、BLEU/ROUGE得分和静态分析评分等方面的显著提升效果。; 适合人群:具备一定Python编程基础和深度学习基础知识,熟悉Transformer架构,从事AI代码生成、自然语言处理或大模型微调相关工作的研发人员、算法工程师及研究人员;适合希望提升AI编程辅助工具性能的技术团队。; 使用场景及目标:① 掌握LoRA微调的核心原理与实现机制,理解其在大模型高效微调中的优势;② 学会在Python环境中配置LoRA参数并完成模型微调全流程;③ 提升AI生成Python代码的准确性、规范性和功能性,应用于智能编程助手、自动化代码生成、代码补全工具等场景;④ 通过评估指标科学衡量微调效果,优化模型性能。; 阅读建议:建议读者结合文中提供的代码示例动手实践,搭建本地环境进行复现;重点关注LoRA参数配置与训练技巧部分,根据自身任务调整r、alpha、dropout等超参数;同时建议配合使用真实项目代码数据集进行微调实验,以获得更贴近实际应用的效果。
【python毕业设计】基于Python的社区志愿者管理系统(FastAPI+Vue3) 适合python毕业设计 python课程设计 完整版 源码+sql脚本+论文 完整版
这个是完整源码 python FastAPI实现 vue 【python毕业设计】基于Python的社区志愿者管理系统(FastAPI+Vue3) 适合python毕业设计 python课程设计 完整版 源码+sql脚本+论文 完整版 数据库是mysql 社区治理现代化对志愿服务的组织效率、过程留痕和激励公平提出了更高要求。传统以纸质登记、即时通讯群和电子表格为主的管理模式,难以支撑活动发布、报名审核、签到确认、服务时长累计和积分激励等闭环业务,也不便于社区工作者掌握队伍结构与活动成效。针对上述问题,本文设计并实现了一套基于 Python 的社区志愿者管理系统。系统采用前后端分离架构:后端以 Python 3.11 为开发语言,使用 FastAPI 构建高性能 REST 接口,结合 Pydantic 完成参数校验,使用 SQLAlchemy 2.0 访问 MySQL 8 数据库 db_community_volunteer;前端以 Vue 3 为核心,配合 Vite、Vue Router、Pinia 与 Element Plus 实现管理员后台和志愿者门户两套界面。系统覆盖社区与队伍维护、志愿者注册审核、活动发布与大厅展示、在线报名与审核签到、服务记录与积分等级、公告通知以及首页统计图表等功能。登录环节通过 JWT 中间件统一鉴权,除白名单接口外均需携带令牌;管理员与志愿者按角色进入不同工作台。实践表明,该系统能够把志愿服务从“线下口头协同”转变为“线上可查询、可审核、可统计”的规范化流程,对提升社区志愿服务数字化水平具有较好的应用价值。
spec-kit(Python)
「spec-kit(Python)」是开发工具/插件(Python)。项目简介: Toolkit to help you get started with Spec-Driven Development可直接使用,适合日常开发提效与学习借鉴。
Fine-tuning ChatGLM-6B with PEFT _ 基于 PEFT 的高效 ChatGLM 微调.zip
Fine-tuning ChatGLM-6B with PEFT _ 基于 PEFT 的高效 ChatGLM 微调.zip
使用Huggingface、PEFT和LoRA训练大型语言模型(LLM)的demo代码
关于使用Huggingface、PEFT和LoRA训练大型语言模型(LLM)的demo代码,其中包含了几个脚本和设置: 1. `setup_lambdalabs.py`脚本:用于设置大部分所需的配置,适用于使用lambdalabs平台的用户。你需要创建一个名为`.env`的文件,其中包含三个条目:LL_SECRET(lambdalabs的密钥)、ssh_key_filename(私有RSA密钥的路径)和training_data_url(训练数据的URL)。 2. `train_text.py`脚本:LoRA的训练脚本。你可以通过查看该脚本的头部来调整一些设置,如模型名称(model_name)、是否以8位加载模型(load_in_8bit)、LoRA文件路径(lora_file_path)、文本文件名(text_filename)、输出目录(output_dir)、截断长度(cutoff_len)、重叠长度(overlap_len)以及新行偏好长度(newline_favor_len)。该脚本用于训练LoRA模型。 3. 重要提示:当前存在一个保存LoRA模型的问题。用户an
peft-0.8.1-py3-none-any.whl
该资源为peft-0.8.1-py3-none-any.whl,欢迎下载使用哦!
大模型微调-使用PEFT微调ChatGLM-6B大语言模型-附流程教程+项目源码-优质项目实战.zip
大模型微调_使用PEFT微调ChatGLM-6B大语言模型_附流程教程+项目源码_优质项目实战
基于Qwen15大模型微调的文本分类项目_使用PEFT框架LoRA高效微调方法在HC3-Chinese数据集上实现人类与ChatGPT生成文本的自动识别与分类_通过下载和预处理H.zip
基于Qwen15大模型微调的文本分类项目_使用PEFT框架LoRA高效微调方法在HC3-Chinese数据集上实现人类与ChatGPT生成文本的自动识别与分类_通过下载和预处理H.zip
基于PyTorch实现的大语言模型指令微调与知识增强智能对话系统开发框架_集成Qwen通义千问系列模型与PEFT参数高效微调技术结合文本向量化知识库检索实现多轮对话与内容生成_支持.zip
基于PyTorch实现的大语言模型指令微调与知识增强智能对话系统开发框架_集成Qwen通义千问系列模型与PEFT参数高效微调技术结合文本向量化知识库检索实现多轮对话与内容生成_支持.zip
中文LLaMA&Alpaca大模型
本项目基于Meta发布的可商用大模型Llama-2开发,是中文LLaMA&Alpaca大模型的第二期项目,开源了中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表,使用了大规模中文数据进行增量预训练,进一步提升了中文基础语义和指令理解能力,相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练,支持4K上下文并可通过NTK方法最高扩展至18K+。
自然语言处理_基于PyTorch的PEFT微调框架与多模型集成_支持Baichuan2_Chinese-LLaMA-Alpaca-2_Qwen_Qwen2等大语言模型的指令微调_知.zip
自然语言处理_基于PyTorch的PEFT微调框架与多模型集成_支持Baichuan2_Chinese-LLaMA-Alpaca-2_Qwen_Qwen2等大语言模型的指令微调_知.zip
中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型
中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models) 本项目基于Meta发布的可商用大模型Llama-2开发,是中文LLaMA&Alpaca大模型的第二期项目,中文LLaMA-2基座模型和Alpaca-2指令精调大模型。这些模型在原版Llama-2的基础上扩充并优化了中文词表,使用了大规模中文数据进行增量预训练,进一步提升了中文基础语义和指令理解能力,相比一代相关模型获得了显著性能提升。相关模型支持FlashAttention-2训练。标准版模型支持4K上下文长度,长上下文版模型支持16K、64k上下文长度。RLHF系列模型为标准版模型基础上进行人类偏好对齐精调,相比标准版模型在正确价值观体现方面获得了显著性能提升。
人工智能-ChatGLM-基于 PEFT 的高效 ChatGLM 微调
要求 Python 3.8+ 和 PyTorch 1.13.1+ Transformers、Datasets、Accelerate、PEFT 和 TRL Fire、protobuf、cpm-kernels 和 sentencepiece Jieba、Rouge-Chinese 和 NLTK(在评估中使用) gradio 和 matplotlib(用于 train_web.py) Uvicorn、FastAPI 和 SSE-Starlette(用于 api_demo.py) 还有强大的 GPU!
Firefly: 大模型训练工具,支持训练Qwen2、Yi1.5、Phi-3、Llama3、Gemma、MiniCPM
Firefly 是一个开源的大模型训练项目,支持对主流的大模型进行预训练、指令微调和DPO,包括但不限于Qwen2、Yi-1.5、Llama3、Gemma、Qwen1.5、MiniCPM、Llama、InternLM、Baichuan、ChatGLM、Yi、Deepseek、Qwen、Orion、Ziya、Xverse、Mistral、Mixtral-8x7B、Zephyr、Vicuna、Bloom等。 本项目支持全量参数训练、LoRA、QLoRA高效训练,支持预训练、SFT、DPO。 如果你的训练资源有限,我们极力推荐使用QLoRA进行指令微调,因为我们在Open LLM Leaderboard上验证了该方法的有效性,并且取得了非常不错的成绩。
最新推荐


