为什么用 Ollama 微调后的 DeepSeek 模型无法直接通过 transformers 加载?该怎么正确指定路径?
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
Python内容推荐
deepseek本地模型训练
deepseek本地模型训练
构建自己的大模型[项目代码]
本文详细介绍了如何从零开始构建和部署自己的大模型,包括选择基座模型、环境安装、模型加载以及低成本部署技巧。重点讲解了如何通过有监督微调使大模型适应特定场景,并提供了广告词生成的实例。此外,文章还探讨了灾难遗忘问题及其解决方案,以及如何利用程序思维提示解决复杂数值推理问题。最后,总结了学习AI大模型的重要性,并提供了丰富的学习资源和福利。
DeepSeek私有化部署和一体机-2025.pdf
DeepSeek私有化部署和一体机-2025.pdf
北京大学:详解DeepSeek私有化部署与一体机解决方案
本文由北京大学AI肖睿团队撰写,详细介绍了DeepSeek大模型的私有化部署和一体机解决方案。文章首先概述了DeepSeek系列模型及其特点,接着分四个部分展开讨论:①介绍DeepSeek不同版本模型的特点与适用场景;②讲解个人用户如何在本地设备上部署和体验DeepSeek模型,涵盖硬件配置、部署工具(如Ollama)及前端展示工具;③探讨企业级部署方案,包括基于Transformers和vLLM框架的高性能部署方法,以及低成本动态量化部署方案;④介绍DeepSeek一体机的配置、性能数据及应用场景,特别展示了北大青鸟AI实验室的具体案例。最后,文章总结了不同部署路径的选择依据和技术方案,为用户提供了从'能用'到'用好'的完整方法论支持。
本地部署开源大模型教程[代码]
本文详细介绍了如何在本地部署开源大模型,包括Qwen、Llama、DeepSeek和通义千问开源版。内容涵盖了硬件配置要求、前置环境依赖安装、三种部署方案(Ollama一键部署、llama.cpp原生量化部署、Transformers原生Python部署)、四大模型的专项适配说明、本地Web前端界面和OpenAI兼容API的搭建,以及性能优化和常见问题排错。文章提供了从新手到开发者的全场景解决方案,所有代码和配置均来自官方文档,确保权威性和可复现性。
### DeepSeek私有化部署和一体机全场景解决方案综述述
本文详细
内容概要:本文详细介绍了DeepSeek模型的私有化部署及其一体机解决方案,涵盖从模型选型、硬件配置、部署框架到具体实践的各个方面。文章首先概述了DeepSeek的发展历程和主要版本(V2、V3、R1)的特点,接着探讨了针对个人用户和企业的不同部署方案,包括使用Ollama、vLLM等工具的具体操作步骤和性能表现。对于企业级部署,特别介绍了基于Transformers和vLLM框架的高性能推理方案,以及低成本动态量化部署的探索。最后,文章展示了DeepSeek一体机的配置和应用场景,特别是北大青鸟AI实验室的实际案例,为企业、学校和个人提供了全面的参考建议。 适合人群:具备一定AI基础的个人开发者、企业IT技术人员及科研人员。 使用场景及目标:①帮助个人开发者快速体验DeepSeek模型能力;②指导企业构建高效的专业AI服务;③在有限资源下实现动态量化部署;④为企业、学校、政府机关选购DeepSeek一体机提供参考。 其他说明:文章提供了详细的配置参数、部署命令和性能数据,确保读者能够根据自身需求选择最优部署路径。此外,文中还附有参考文档链接,方便读者深入了解相关技术细节。
北京大学DeepSeek私有化部署与一体机应用:从个人到企业的全场景解决方案
内容概要:本文档是关于DeepSeek私有化部署和一体机的报告,由北京大学AI肖睿团队撰写。报告详细介绍了DeepSeek模型及其不同版本(V2、V3、R1)的特点与适用场景,涵盖了从个人用户到企业级用户的部署方案。对于个人用户,文档讲解了如何通过Ollama命令行工具在本地设备上高效部署DeepSeek模型,包括硬件配置建议、命令行操作指南及前端展示工具的配置。对于企业级用户,文档介绍了基于Transformers和vLLM框架的高性能部署方案,分享了服务器配置、性能数据及报价参考。此外,文档还探讨了几种低成本动态量化部署方案(如llama.cpp、KTransformers、Unsloth),并对其性能进行了评测。最后,文档展示了DeepSeek一体机的配置与性能数据,特别是北大青鸟AI实验室的实际应用案例。 适合人群:具备一定编程基础的研发人员,尤其是对大模型私有化部署感兴趣的个人开发者、中小企业技术负责人以及高校AI实验室建设者。 使用场景及目标:①帮助个人用户快速在本地设备上部署DeepSeek模型,体验模型能力;②为企业提供高性能推理引擎的构建方案,支持专业服务;③在有限资源下实现动态量化部署,降低部署成本;④为选购DeepSeek一体机提供参考建议,助力各行业利用AI提升效率。 其他说明:报告提供了详细的命令行操作指南、配置参数说明及性能测试数据,确保读者能够根据自身需求选择最优部署路径。同时,文档还附有相关GitHub链接和学术论文参考,方便读者深入了解技术细节。
AI部署五件套教程[可运行源码]
本文详细介绍了如何部署DeepSeek、Ollama、Xinference、RAGFlow和Dify这五款AI工具,以实现高效的RAG(Retrieval-Augmented Generation)产品化体验。文章首先提到DeepSeek-R1的火爆提升了AI部署需求,随后逐步指导读者通过Docker方式部署Xinference、RAGFlow和Dify,并提供了项目地址、文档链接以及常见问题的解决方案。此外,还介绍了Ollama的本地运行和管理方法,以及如何将这些组件集成到一个完整的系统中。文章内容实用,适合喜欢折腾技术的读者参考。
详解DeepSeek智能应用:从自然语言对话到本地部署的一站式指南
内容概要:本文详细介绍了DeepSeek的应用方法和技术细节,涵盖基本功能如自然语言对话、代码生成、文本生成与润色、以及多任务处理等多个方面。接着深入探讨了三种主要的接入方式——网页端/移动端APP、API接口及本地部署的具体操作步骤,其中重点讲解了API接口申请与配置流程、在开发环境中集成的方式如VSCode插件与Dify平台的方法及其使用案例。针对高级用户的本地部署则分别讲述了采用Ollama部署和基于HuggingFace Transformers两种路径的操作。最后提出优化建议以提升使用效率并强调了关于APIKey的安全维护和其他合理的使用注意事项。 适合人群:对于想要深入了解或开始尝试使用DeepSeek这一人工智能产品的所有开发者。 使用场景及目标:旨在让使用者能够全面掌握DeepSeek的各项核心能力和接入途径,从而更好地将其应用于实际的工作流程之中,无论是寻求高效便捷地完成工作任务还是进行创新性项目开发。 阅读建议:考虑到文档内容较为详尽,在初次阅读时可以根据自身需要着重关注感兴趣的章节,比如如果主要目的是了解产品特性可以选择先浏览第一部分;对于计划深入开发的人来说,则应该花时间认真研究第三章和第四部分内容来熟悉接口及集成方面的信息。另外,请务必重视最后一部分提到的重要提示,尤其是关于API key管理和遵守相关法规的内容。
大模型环境部署+智能聊天机器人 2
大模型环境部署+智能聊天机器人 2
本地AI知识库搭建[项目源码]
本文详细介绍了如何从零开始搭建一个本地AI知识库系统,使用DeepSeek大模型和ChromaDB向量数据库。文章首先解释了本地AI知识库的必要性,如解决公司内部文档搜索困难、学习笔记分散等问题。接着详细讲解了技术选型,包括DeepSeek大模型、ChromaDB向量数据库、LangChain框架和bge-large-zh-v1.5中文向量模型。然后分步骤指导了环境准备、依赖安装、本地DeepSeek模型部署、向量数据库搭建和文档处理。最后实现了问答功能,并提供了交互式命令行界面。文章还包含进阶优化建议、常见问题解答和项目结构总览,为读者提供了一个完整的本地AI知识库解决方案。
模型路由评估器|任务能力+成本延迟+推荐矩阵
原创可运行 JavaScript 工程工具,包含完整源码、自动化测试、可复现示例、离线 HTML/JSON/SVG 报告、真实运行效果图、README、MIT License 与原创授权声明。Node.js 18+ 可直接运行,零第三方依赖,不含热点项目源码、品牌素材、论文或账号数据,适合开发者学习、测试与工程验收。
本地部署QwQ-32B指南[源码]
阿里Qwen团队近日开源了QwQ-32B推理模型,该模型虽仅有32B参数,但性能媲美大参数模型如DeepSeek-R1。QwQ-32B可在消费级显卡如RTX 3090/4090上运行,适合本地部署。文章详细介绍了通过Ollama工具部署QwQ-32B的步骤,包括安装Ollama、下载模型及运行模型的方法。此外,还提供了QwQ-32B在数学和代码方面的基准测试结果,显示其性能接近满血版DeepSeek-R1。文章最后还推荐了多种AI大模型学习资源,帮助读者快速入门和掌握相关技能。
WebUI integrated platform for latest LLMs | 各大语言模型的全流程工具 WebUI .zip
飞书 MCP 服务器 + CLI 工具:让 Claude Code/Codex/脚本 直接接管你的飞书工作流 — 84 个工具、3 层鉴权 cookie / 官方 API / OAuth,以你本人身份发消息、读取群和私聊、操作文档 / 多维表格 / 知识库 / 云空间 / …
DeepSeekR1私有化部署和一体机.pptx
DeepSeekR1私有化部署和一体机.
langchain4j-study20260529.zip
langchain4j-study20260529.zip
RAG检索增强生成全套知识点
RAG检索增强生成全套知识点
It's a plugin extension in Zotero. Zotero MCP Plugin enables in.zip
调用大模型,自动精读论文库里的论文,总结为Zotero笔记。支持主流大模型平台!您只需像往常一样把文献丢进 Zotero, 管家会自动帮您精读论文,将文章揉碎了总结为笔记,让您“十分钟完全了解”这篇论文!
【博士论文复现】基于小信号扫频辨识的光伏并网逆变器正负序交互稳定性分析(Matlab代码、Simulink仿真实现)
内容概要:本文基于小信号扫频辨识方法,深入研究光伏并网逆变器在弱电网与不对称电网条件下的正负序交互稳定性问题,聚焦虚拟同步发电机(VSG)并网系统的阻抗建模与稳定机理分析。通过谐波线性化建模技术,结合对称分量法,系统推导了三相LC滤波型VSG的正负序输出阻抗解析模型,并构建了完整的Simulink电磁暂态仿真模型与Matlab阻抗扫频程序,实现了序阻抗的精确仿真辨识与可视化。研究进一步运用Nyquist与Bode图等频域分析工具,对比传统锁相型逆变器,揭示了VSG在不同电网强度下的稳定特性与潜在失稳机理,并通过多工况仿真验证了所建立模型的准确性与控制策略的有效性,为高比例新能源接入下的并网系统稳定性分析提供了坚实的理论与技术支撑。; 适合人群:具备电力电子、自动控制理论基础,从事新能源并网、电力系统稳定性研究的研究生、科研人员及工程技术人员。; 使用场景及目标:① 掌握基于谐波线性化的VSG正负序阻抗建模方法;② 学习小信号扫频辨识技术在电力电子系统中的实现流程;③ 理解并应用频域稳定判据(如Nyquist、Bode准则)分析并网系统稳定性;④ 复现高水平博士论文中的核心研究方法与仿真技术。; 阅读建议:学习者应结合提供的Matlab代码与Simulink模型,按照文档目录顺序,从理论推导到仿真实现逐步实践,重点关注阻抗建模的数学推导过程、扫频程序的设计逻辑以及仿真结果的对比分析,以深化对并网逆变器交互稳定性的理解。
Robot Middleware
开源鸿蒙机器人核心子系统,机器人操作系统中间件框架,为应用提供了统一编程接口,包括机器人通信和消息传递等功能
最新推荐

![构建自己的大模型[项目代码]](https://img-home.csdnimg.cn/images/20210720083736.png)


