本地使用docker和vllm部署deepseek
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
Python内容推荐
DeepSeek-R1部署指南[项目源码]
本文详细介绍了如何在Ubuntu 22.04.4 LTS系统上部署DeepSeek-R1-14b模型,包括原始模型和q8量化模型的下载与安装步骤。首先通过modelscope下载模型,然后安装vllm并配置相关参数,如GPU数量、显存利用率等。接着,文章指导如何通过命令行测试模型是否正常运行。最后,介绍了使用Docker部署Open WebUI的方法,包括拉取镜像、运行容器以及配置外部连接等步骤。整个过程涵盖了从环境搭建到模型测试的完整流程,适合需要本地部署DeepSeek-R1模型的开发者参考。
本地AI代码模型部署[源码]
本文详细介绍了在无法连接外网的机器上部署本地AI代码大模型的方案。通过使用docker + code-server + nginx的组合,实现了在个人PC上通过网页访问机器的code-server。具体部署步骤包括:1) 使用llama.cpp部署Qwen2.5-Coder-1.5B模型,包括模型准备、编译llama.cpp、更新binutils、转换模型和启动服务;2) 配置Continue插件,包括离线安装、设置和重启生效;3) 介绍了vllm + DeepSeek-Coder-V2-Lite-Instruct的替代方案。文章还记录了部署过程中遇到的问题和解决方法,如编译错误、插件配置问题等,为类似环境下的AI代码助手部署提供了实用参考。
Xinference部署教程[项目代码]
本文详细介绍了如何使用Xinference框架在本地部署LLM、Embedding Model和Reranker Model等模型,以搭建RAGFlow知识库并确保数据安全。文章对比了Xinference与Ollama的优势,指出Xinference支持更多模型和格式。教程涵盖Xinference的两种安装方式(Docker和pip),重点讲解pip安装步骤,包括创建conda虚拟环境、安装不同推理引擎(Transformers和vLLM)以及解决可能出现的PyTorch版本冲突问题。此外,文章还介绍了如何设置环境变量(如XINFERENCE_HOME和HF_ENDPOINT)以优化模型下载和存储,以及如何启动Xinference服务并通过WebGUI界面访问。最后,以部署DeepSeek-R1模型为例,详细解释了vLLM配置参数(如gpu_memory_utilization和max_model_len)的作用和调整方法,帮助用户根据显存情况优化模型性能。
Claude+Deepseek一键部署脚本
一键部署!避免复杂的安装和环境配置步骤,方便小白极速入门Claude+Deepseek
AI部署五件套教程[可运行源码]
本文详细介绍了如何部署DeepSeek、Ollama、Xinference、RAGFlow和Dify这五款AI工具,以实现高效的RAG(Retrieval-Augmented Generation)产品化体验。文章首先提到DeepSeek-R1的火爆提升了AI部署需求,随后逐步指导读者通过Docker方式部署Xinference、RAGFlow和Dify,并提供了项目地址、文档链接以及常见问题的解决方案。此外,还介绍了Ollama的本地运行和管理方法,以及如何将这些组件集成到一个完整的系统中。文章内容实用,适合喜欢折腾技术的读者参考。
DeepSeek版Claude Code[项目源码]
本文介绍了如何以1/15的价格获得与Claude Code相似的99%体验。Claude Code作为终端编码Agent虽强,但价格昂贵且模型锁定。DeepSeek V4-Pro在SWE-bench上仅差Claude Opus 0.2%,价格却便宜7倍。文章详细对比了三种实现路径:Claude Code + DeepSeek API、OpenCode + DeepSeek、Aider + DeepSeek,并提供了5分钟搭建教程。此外,还分析了模型能力、成本实测及实战最佳实践,帮助开发者选择性价比最高的编码方案。
DeepSeek API 使用指南[可运行源码]
本文介绍了如何通过第三方平台稳定调用 DeepSeek AI 的 API,解决官方服务不稳定的问题。作者程序员鱼皮分享了使用硅基流动和火山引擎两个平台的详细步骤,包括 API 密钥的获取、代码示例的修改和运行。文章还提供了多个主流平台的对比表格,帮助用户根据需求选择合适的服务。此外,作者推荐了更多编程学习资源和 AI 知识库,供读者进一步学习和探索。
基于 FastAPI 和 DeepSeek-V3 的 AI 小说分析器.zip
AIWriteX - 微信公众号全自动AI工具:全网热搜舆情聚合+趋势分析+爆款选题+文章采集+一键生成排版发布 | AI自动配图 | 去AI味、过朱雀检测 | 支持小红书/百家号/头条等多平台 | 洗稿润色支持多账号 | 专家赛道 | 手机控制 | 小说连载 | 爆文10…
华为昇腾Atlas310P本地部署大模型
在大模型应用落地的浪潮中,“本地部署、低延迟、数据可控”成为开发者和中小企业的核心诉求——动辄数万元的GPU卡抬高了入门门槛,云端调用又面临数据隐私泄露、网络延迟的风险。而华为昇腾Atlas310P作为国产化高能效NPU卡,凭借轻量化、高性价比的特性,成为本地部署大模型的“最优解”之一。 今天,我们就基于vLLM社区官方推荐的昇腾后端插件vLLM-Ascend,手把手教你在Atlas310P上从0到1部署并运行本地大模型,涵盖环境搭建、实操步骤、性能实测全流程,看完就能上手!
华为昇腾镜像仓库整理[代码]
本文档由昇腾实战派编写,旨在整理华为昇腾系列模型的Docker镜像仓库地址,为开发者提供统一的镜像索引。内容涵盖了Qwen系列、Deepseek系列和Llama系列等多个模型的推理和训练镜像,包括Vllm-ascend和Mindie等不同版本的镜像地址。文档详细列出了每个模型的镜像名称和对应的拉取命令,确保开发者在不同服务器环境下能够快速获取所需镜像,提升部署效率和环境一致性。
8GB显卡本地大模型部署指南[项目源码]
本文档针对8GB显存环境下的本地大模型部署方案进行了详细对比分析。硬件方面,典型显卡包括RTX 3070、RTX 4060和GTX 1080 Ti,部署平台为Ollama。模型选型上,推荐Qwen2.5-Coder:7b(代码专用)、DeepSeek-R1:7b(通用推理)和Gemma2:2b(轻量通用),并提供了代码能力基准测试和特点对比。部署方案包括Ollama的安装、模型下载及断点续传。多模型并发运行时,8GB显卡推荐方案A(单模型运行Qwen2.5-Coder:7b或DeepSeek-R1:7b)或方案B(双模型组合:Qwen2.5-Coder:7b主力+Gemma2:2b辅助)。API服务配置支持Ollama原生API,并可通过Nginx反向代理、LiteLLM Gateway或Open-WebUI添加认证。使用场景推荐中,日常代码补全首选Qwen2.5-Coder:7b,复杂Bug调试用DeepSeek-R1:7b,简单任务用Gemma2:2b。最佳实践包括模型切换策略、显存优化和性能监控。常见问题解答了8GB显卡能否同时跑两个7B模型、量化级别选择及下载速度优化。最终推荐8GB显卡使用Qwen2.5-Coder:7b主力加Gemma2:2b辅助的组合。
Ollama本地大模型指南[源码]
本文详细介绍了Ollama作为本地大模型的“平替神器”,从入门到实战的全面指南。Ollama的设计理念类似于Docker,用户只需一句命令即可在本地运行大模型,无需复杂的环境配置。文章涵盖了Ollama的安装方法、支持的模型类型(如Llama3、Qwen、DeepSeek等)、Python API调用方式以及如何自定义模型(Modelfile)。此外,还提供了三分钟安装与运行方法(Windows/Mac/Linux)、一行命令拉取并启动本地模型的技巧,以及Python如何调用Ollama进行推理的示例代码。对于进阶用户,文章还介绍了如何通过Modelfile对模型进行微调,使其更符合特定需求。
BuildingAI 是一款面向AI开发者、AI创业者和先进组织打造的企业级开源智能体搭建平台
BuildingAI 是一款面向AI开发者、AI创业者和先进组织打造的企业级开源智能体搭建平台。通过可视化配置界面(Do It Yourself)零代码搭建具备智能体、MCP、RAG管道、知识库、大模型聚合、上下文工程等原生AI能力,以及用户注册、会员订阅、算力计费等商业闭环能力的原生企业智能体应用。
Pi 智能体工具集
这里是 Pi 智能体工具集项目的所在地,包含我们的自扩展编码智能体
AI 智能体工具包:编码智能体命令行界面、统一大语言模型接口、终端用户界面与网页用户界面库、Slack 机器人、vLLM 服务单元
Dify-1.14.2 安装包
压缩包包含:Docker28.0.0 离线二进制包、Dify1.14.2 源码包、一键自动化部署 shell 脚本,适配 CentOS 隔离内网,全程无外网依赖。
WebUI integrated platform for latest LLMs | 各大语言模型的全流程工具 WebUI .zip
飞书 MCP 服务器 + CLI 工具:让 Claude Code/Codex/脚本 直接接管你的飞书工作流 — 84 个工具、3 层鉴权 cookie / 官方 API / OAuth,以你本人身份发消息、读取群和私聊、操作文档 / 多维表格 / 知识库 / 云空间 / …
Pi;基于llm提供商的ai代理构建与管理项目
AI 智能体工具包:编码智能体命令行界面、统一大语言模型接口、终端用户界面与网页用户界面库、Slack 机器人、vLLM 服务单元
manifest:灵活的容器配置管理工具
Manifest 是一款面向 AI 智能体和应用程序的开源 LLM 网关。将您的 API 密钥、订阅服务和本地模型连接至一个兼容 OpenAI 的端点,系统会自动将每个查询路由至合适的模型。彻底摆脱单一供应商锁定。
开源人工智能助手工作流构建器
用于构建、部署和管理 AI 智能体与工作流的工作平台。
基于Docker容器化技术与vLLM高性能推理引擎部署DeepSeek系列大语言模型的完整解决方案_该项目详细介绍了如何使用官方vLLM-OpenAI镜像及Docker-Compo.zip
基于Docker容器化技术与vLLM高性能推理引擎部署DeepSeek系列大语言模型的完整解决方案_该项目详细介绍了如何使用官方vLLM-OpenAI镜像及Docker-Compo.zip
最新推荐
![DeepSeek-R1部署指南[项目源码]](https://img-home.csdnimg.cn/images/20210720083736.png)