为什么我安装的pytorch只能在llm环境才能用,其他环境显示没有安装torch
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
Python内容推荐
minimind(Python)
「minimind(Python)」是开源项目(Python)。项目简介: Train a 64M-parameter LLM from scratch in just 2h!源码完整,下载解压即可查看使用,适合学习参考、课程设计与二次开发。
PandasAI 数据对话实战包:零 Key 离线问 CSV + 通义千问可选(Python 源码)
自写可跑的 PandasAI 风格数据对话实战包。内置 Mock 引擎,无 API Key 可离线冒烟问 CSV;可选通义千问。含样例数据、中文 README、smoke 脚本。
(源码)基于PyTorch和TurboMind的本地LLM部署系统.zip
# 基于PyTorch和TurboMind的本地LLM部署系统 ## 项目简介 本项目是一个基于PyTorch和TurboMind的高效本地大语言模型(LLM)部署系统。通过使用lmdeploy工具,用户可以轻松地将Huggingface上的模型转换为TurboMind格式,并在本地进行高效的推理和对话。 ## 项目的主要特性和功能 1. 环境配置提供详细的依赖库版本列表,确保项目在各种环境下都能稳定运行。 2. 模型转化支持在线和离线两种方式将模型转换为TurboMind格式。 3. 本地运行提供命令行和API服务两种方式进行模型推理,满足不同场景的需求。 ## 安装使用步骤 ### 1. 环境配置 首先,确保您的环境中已安装所有必要的依赖库。可以通过以下命令安装主要依赖 bash pip install torch transformers lmdeploy ### 2. 模型转化 #### 在线转化
深度学习基于PyTorch的LLM微调关键技术解析:从分布式训练到模型优化的完整实践指南
内容概要:本文档系统介绍了大语言模型(LLM)微调及相关技术中的关键知识点,涵盖Jupyter Notebook使用技巧、Python与PyTorch核心功能、Transformer架构原理、分布式训练流程、混合精度训练、模型优化方法等。重点包括np.memmap处理大数据、deepcopy避免对象引用、einops/torch.einsum张量操作、DDP分布式训练配置、torch.compile加速、autocast混合精度、梯度裁剪与累加等实用技术,并深入解析了LayerNorm、位置编码、多头注意力、Noam优化器等Transformer核心机制。; 适合人群:具备一定Python和深度学习基础,从事或希望深入大模型微调、训练工程优化的研发人员,尤其是工作1-3年的算法工程师或研究员。; 使用场景及目标:①掌握LLM微调中的关键技术实现,如分布式训练(DDP)、混合精度训练(AMP)、梯度管理等;②深入理解Transformer模型的核心组件原理与PyTorch实现细节;③提升模型训练效率与工程实践能力,解决显存、速度、稳定性等问题; 阅读建议:建议结合代码实践,重点理解各技术的应用场景与注意事项,如DDP与torch.compile的调用顺序、autocast与GradScaler的配合使用等,同时通过动手实现关键模块加深对原理的理解。
Tensorrt-LLM部署AI助手[项目代码]
本文详细介绍了在Jetson Orin NX设备上基于Tensorrt-LLM部署AI助手的完整流程。从环境配置、Tensorrt-LLM安装、模型获取与转换,到构建推理引擎和性能测试,涵盖了每个步骤的具体操作和可能遇到的报错解决方案。文章以Tiny-Llama 1.1B模型为例,展示了非量化和int4_awq量化两种方式的转换与推理速度对比,量化后模型推理速度达到302 tokens/s,显著快于非量化模型。同时提供了多个常见报错的解决方法,如libstdc++.so.6缺失、torch依赖问题等。最后指出该方法同样适用于Qwen等模型在Jetson上的部署,为在边缘设备上搭建大语言模型服务器提供了实用指南。
基于bert4torch的大模型微调代码,含chatglm+pv2, lora, plora等多种方式.zip
基于bert4torch的大模型微调代码,含chatglm+pv2, lora, plora等多种方式.zip
trainer-llm
trainer_llm 手把手教会你如何使用自己的PC机训练一个大模型
基于PyTorch20与ChatGLM的深度学习与大模型实战入门到精通全栈指南_项目极简说明为系统化教授人工智能深度学习与大语言模型LLM的实战开发内容关键词涵盖人工智.zip
基于PyTorch20与ChatGLM的深度学习与大模型实战入门到精通全栈指南_项目极简说明为系统化教授人工智能深度学习与大语言模型LLM的实战开发内容关键词涵盖人工智.zip
IndexTTS-2-LLM部署指南[源码]
本教程详细介绍了如何在本地部署和使用IndexTTS-2-LLM智能语音合成系统。内容涵盖从环境准备、镜像启动到WebUI操作和API调用的全流程,适用于开发者、产品经理及AI语音爱好者。教程包括一键启动服务、文本转语音操作、RESTful API调用及常见问题排查,同时提供了典型应用场景如有声读物生成、播客制作、无障碍辅助等。此外,还给出了性能优化建议和下一步学习方向,帮助用户充分利用该系统的高质量语音输出、本地化运行和开箱即用优势。
深入了解大语言模型从零搭建基础教程
大语言模型(Large Language Model,LLM)是一种基于深度学习的人工智能模型,它在大量文本数据上进行训练,从而能够生成自然流畅的文本、回答问题、完成翻译等多种自然语言处理任务。例如,GPT-3、文心一言等都是知名的大语言模型。
Radeon显卡AI开发指南[项目代码]
本文详细介绍了Radeon显卡在AI开发中的高性价比优势,包括其32GB大显存对32B以上大模型的支持、RDNA 4架构的AI能力升级、ROCm环境搭建步骤、模型部署实战经验以及CUDA到ROCm的迁移指南。文章通过实测数据对比了Radeon AI PRO R9700与NVIDIA RTX 5080的性能差异,并提供了选购建议和避坑指南。对于预算有限但需要本地运行大模型的开发者、学术研究者以及游戏+AI跨界用户,Radeon显卡提供了一个极具性价比的解决方案。
Soup一条命令完成大模型微调与后训练 无需 SSH,无需繁琐配置
通过一个 YAML 微调大语言模型。分层流式传输技术可在 4 GB 笔记本电脑 GPU 上训练 8B 模型
本地运行 RAG:Retrieval-Augmented Generation 技术详解.pdf
本地运行 RAG:Retrieval-Augmented Generation 技术详解.pdf
RAG 应用开发与实战手册:构建长期复利型知识基础设施.pdf
RAG 应用开发与实战手册:构建长期复利型知识基础设施.pdf
Qwen3.5模型微调与转换教程[可运行源码]
本文详细介绍了使用Unsloth框架对Qwen3.5-2B-Base模型进行微调的全流程,包括环境配置、模型与数据集下载、数据格式转换、LoRA微调训练以及模型导出。首先通过conda创建Python 3.10环境并安装unsloth、transformers、accelerate等依赖。微调数据集需转换为JSONL格式,并提供了Python脚本示例。训练部分展示了如何加载模型、配置LoRA参数(r=16, alpha=16)、设置训练参数(batch_size=4, gradient_accumulation_steps=64, 5个epoch)并启动SFTTrainer。训练完成后,模型可导出为Safetensors格式(用于vLLM部署)或GGUF格式(用于Ollama部署),并提供了详细的导出脚本。文章还包含将LoRA适配器转换为GGUF格式的独立脚本,支持多种输出精度(f32、f16、q8_0等)。整个过程覆盖了从环境搭建到模型部署的完整链路,适合需要微调Qwen3.5系列模型的开发者参考。
vLLM并行技术解析[项目源码]
本文详细介绍了vLLM中的张量并行(Tensor Parallelism)和流水线并行(Pipeline Parallelism)技术。张量并行通过将每一层内部的权重矩阵拆分成多块,在多个GPU上并行计算同一层,减轻显存压力;流水线并行则将模型的不同层分布到不同GPU上,输入像传送带一样流经这些GPU,适合极大模型。文章还提供了两种技术的对比,包括目标、工作方式、对显存的帮助、延迟特征及适合情况,并举例说明了如何在8张GPU上组合使用这两种技术。最后,文章推荐了进一步阅读的官方文档和论文。
大模型八股文面试题合集.zip
File Name 【大模型八股文面试】:Attention 升级面.pdf 【大模型八股文面试】:Graph RAG 面 — 一种 基于知识图谱的大模型检索增强实现策略.pdf 【大模型八股文面试】:LLMs 损失函数篇.pdf 【大模型八股文面试】:LLMs 激活函数篇.pdf 【大模型八股文面试】:LLMs 训练经验帖.pdf 【大模型八股文面试】:LLM文档对话 —— pdf解析关键问题.pdf 【大模型八股文面试】:Layer normalization 篇.pdf 【大模型八股文面试】:LoRA 系列篇.pdf 【大模型八股文面试】:RAG(Retrieval-Augmented Generation)评测面.pdf 【大模型八股文面试】:transformers 操作篇.pdf 【大模型八股文面试】:图解分布式训练(一) —— 流水线并行(Pipeline Parallelism).pdf 【大模型八股文面试】:图解分布式训练(七)—— accelerate 分布式训练 详细解析.pdf 【大模型八股文面试】:图解分布式训练(三) —— nn.parallel.DistributedDataParallel.pdf 【大模型八股文面试】:图解分布式训练(二) —— nn.DataParallel篇.pdf 【大模型八股文面试】:图解分布式训练(五) —— AMP混合精度训练 详细解析.pdf 【大模型八股文面试】:图解分布式训练(八)—— ZeRO 学习.pdf 【大模型八股文面试】:图解分布式训练(六)—— Pytorch的 DeepSpeed 详细解析.pdf 【大模型八股文面试】:图解分布式训练(四) —— torch.multiprocessing 详细解析.pdf ......
车身单质量系统模型振动特性分析_实训指导书.docx
车身单质量系统模型振动特性分析_实训指导书.docx
两路半桥LLC谐振变换器软开关Simulink仿真(模拟谐振参数不同、分裂电容)
内容概要:本文档介绍了两路半桥LLC谐振变换器的软开关Simulink仿真研究,重点在于通过建立双闭环PWM控制模型,实现对变换器开环与闭环状态下的软启动过程进行仿真设计。仿真内容涵盖不同谐振参数的影响分析以及分裂电容结构对系统性能的作用,旨在深入理解LLC谐振变换器的工作原理与动态响应特性。通过对关键电路参数的调整与优化,验证了软开关技术在提高效率、降低损耗方面的有效性,同时展示了其在实际电力电子系统中的应用潜力。; 适合人群:具备电力电子与电力系统基础知识,从事开关电源、DC-DC变换器或新能源变换系统研究的研发人员及高校研究生。; 使用场景及目标:①掌握LLC谐振变换器的基本拓扑结构与工作机理;②学习如何在Simulink中构建双闭环控制系统并实现软开关仿真;③探究谐振参数变化与分裂电容设计对系统效率与稳定性的影响规律;④为高频高效电源系统的设计与优化提供仿真依据和技术支持。; 阅读建议:建议结合Simulink仿真模型同步操作,重点关注控制器参数整定、谐振腔参数设计及仿真波形分析,深入理解闭环控制策略对软开关实现的关键作用。
质量总监能力提升培训.pptx
制造业生产、工艺、设备、质量全套 PPT 资料,包含月度经营复盘、季度数据分析、部门年终总结规划、产线与检验规范、TPM 设备保全、质量意识、质量总监高阶培训等课件。内容兼顾经营指标偏差分析、述职汇报、现场制度宣贯、岗位技能教学。 适合操作工、检验员、设备维保员、工艺 / 品质 / 设备工程师、生产主管、各部门部长、质量总监、厂长、内部培训师、精益专员使用,覆盖一线执行、骨干分析、部门负责人述职、高管进阶全层级,可直接用于工厂汇报、内部培训、述职复盘。
最新推荐





