用python脚本对ollama进行大模型问答测试

### 使用Python脚本对OLLAMA大模型进行问答性能测试 为了实现对OLLAMA大模型的问答性能测试,可以通过编写Python脚本来自动化这一过程。这通常涉及以下几个方面: - **准备数据集**:创建或获取一组用于提问的数据集。 - **调用API接口**:通过HTTP请求或其他方式与OLLAMA交互并发送问题。 - **记录响应时间**:测量每次查询的时间消耗以便评估性能。 - **分析结果**:统计各项指标来衡量系统的整体表现。 下面是一个简单的例子展示如何利用`requests`库向OLLAMA API发起请求,并收集必要的信息来进行初步评测[^1]。 #### 准备工作 确保安装了所需的依赖项: ```bash pip install requests pandas openpyxl ``` #### Python代码示例 定义一个函数用来执行单次询问操作,并返回处理所需时间和回复内容: ```python import time import requests def query_ollama_api(prompt_text): url = "https://api.example.com/ollama/v1/query" payload = { 'prompt': prompt_text, 'max_tokens': 50 } start_time = time.time() response = requests.post(url, json=payload).json() end_time = time.time() elapsed_seconds = round(end_time - start_time, 4) answer = response.get('choices', [{'text': ''}])[0]['text'].strip() return {'time_taken': elapsed_seconds, 'response': answer} ``` 接下来构建批量测试逻辑,读取CSV文件中的问题列表并对每一个条目应用上述方法;最后保存所有输出到Excel表格中供后续审查: ```python import pandas as pd if __name__ == "__main__": questions_df = pd.read_csv('./questions.csv') results_list = [] for index, row in questions_df.iterrows(): question_id = row['id'] question_content = row['content'] result_dict = query_ollama_api(question_content) single_result = { 'question_id': question_id, 'original_question': question_content, 'answer_received': result_dict['response'], 'processing_duration(s)': result_dict['time_taken'] } results_list.append(single_result) output_dataframe = pd.DataFrame(results_list) output_file_path = './performance_test_results.xlsx' output_dataframe.to_excel(output_file_path, index=False) ``` 此段程序会遍历输入文档里的每一行作为一次独立实验样本,将得到的结果汇总成易于理解的形式存储起来便于进一步的研究和讨论。

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

Python内容推荐

2026 Python+AI零基础教程[项目代码]

2026 Python+AI零基础教程[项目代码]

本教程详细介绍了2026年Python与人工智能的零基础入门全流程,包括环境搭建、Python基础语法、AI核心库(NumPy、Pandas、Matplotlib)、机器学习实战、深度学习入门、本地大模型部署(Ollama)、RAG项目开发以及Streamlit Web部署。教程特别强调零基础友好,无需高数背景或昂贵设备,适合小白、转行从业者、大学生及职场人士。通过4周的学习计划,每天2-3小时,学员可以掌握从零搭建AI项目的全链路技能,包括数据处理、模型训练、大模型调用及Web部署。教程还提供了免费学习资源清单和避坑指南,帮助学习者高效入门AI开发。

一个结合 Ollama 实现的问答系统,同时利用 Tkinter 构建图形用户界面(GUI)的 Python 源码

一个结合 Ollama 实现的问答系统,同时利用 Tkinter 构建图形用户界面(GUI)的 Python 源码

一个结合 Ollama 实现的问答系统,同时利用 Tkinter 构建图形用户界面(GUI)的 Python 源码。用户可以在 GUI 中输入问题,点击按钮获取 Ollama 模型给出的答案。

Ollama Python库.zip

Ollama Python库.zip

Ollama Python库

Python调用Ollama+DeepSeek[可运行源码]

Python调用Ollama+DeepSeek[可运行源码]

本文详细介绍了使用Python三种不同API方式调用本地Ollama和DeepSeek模型的方法。首先回顾了前几篇关于本地AI部署和知识库搭建的文章,然后重点讲解了在vsCode开发环境中通过OpenAI API、requests库和Ollama API三种方式与本地DeepSeek模型进行交互的具体步骤和代码示例。每种方式都提供了详细的配置说明、代码片段和执行界面截图,并针对可能出现的错误给出了参考解决方案。文章还对比了Ollama API中/api/generate和/api/chat两种端点的不同用途和适用场景,为开发者提供了灵活的选择。

Python调用本地DeepSeek模型API[源码]

Python调用本地DeepSeek模型API[源码]

本文详细介绍了如何在本地部署DeepSeek模型,并通过Python调用其API实现智能问答功能。首先,文章指导读者下载并安装Ollama软件,然后选择合适的DeepSeek模型版本进行本地部署。接着,文章提供了两种Python调用本地模型API的方法:使用requests库和ollama库,并附上了完整的代码示例和运行结果。此外,文章还强调了本地部署的优势,如无需网络连接、节省费用等,并建议在资源充足的情况下使用更高版本的模型以获得更好的效果。最后,文章提到这种方法不仅适用于DeepSeek模型,还可用于其他本地部署的模型。

ollama 多模态模型做图片、文件分析

ollama 多模态模型做图片、文件分析

ollama 多模态模型做图片、文件分析 文章见 https://blog.csdn.net/csdnliuxin123524/article/details/161545882?sharetype=blogdetail&sharerId=161545882&sharerefer=PC&sharesource=csdnliuxin123524&spm=1011.2480.3001.8118

OpenHarness 智能体与大模型交互的数据流中的 log 和生成的代码

OpenHarness 智能体与大模型交互的数据流中的 log 和生成的代码

OpenHarness 智能体与大模型交互的数据流中的 log 和生成的代码

开放 CS_AI 知识库,包括「基础知识、数据结构与算法、软件开发、大模型」等体系化的笔记。Open CS_AI Wiki, a.zip

开放 CS_AI 知识库,包括「基础知识、数据结构与算法、软件开发、大模型」等体系化的笔记。Open CS_AI Wiki, a.zip

Coze Plus是一款AI大模型知识库系统,帮助客户快速构建智能化的企业级供应商管理知识库、研发知识库、制造基地知识库、品质学习交流知识库、IT知识库、市场营销知识库系统,借助大模型的力量为你提供 AI 创作、AI 问答、AI 搜索等能力

Doris RAG知识库搭建指南[源码]

Doris RAG知识库搭建指南[源码]

本文介绍了如何利用MaxKB开源工具零代码快速搭建Apache Doris专属RAG知识库,旨在解决开发者、运维人员在海量文档中查找信息效率低下的问题。文章详细阐述了MaxKB的核心优势,包括零代码开箱即用、文档适配性强、中文优化检索精准等,并提供了从前期准备到MaxKB部署、配置大模型、创建知识库、测试问答助手及发布使用的完整步骤指南。通过本文,即使是技术小白也能轻松上手,快速拥有自己的Doris智能问答助手,提升文档检索效率。

langchain入门指南书籍demo案例.zip

langchain入门指南书籍demo案例.zip

LangChain结合了大型语言模型、知识库和计算逻辑,可以用于快速开发强大的AI应用。这个仓库包含了我对LangChain的学习和实践经验,包括教程和代码案例。让我们一起探索LangChain的可能性,共同推动人工智能领域的进步!

MLOps、LLMOps与AI平台工程-72章完整系统教程

MLOps、LLMOps与AI平台工程-72章完整系统教程

MLOps、LLMOps与AI平台工程_72章完整系统教程

LangChain框架 V1.3.x从入门到实战 课程代码

LangChain框架 V1.3.x从入门到实战 课程代码

LangChain框架 V1.3.x从入门到实战 课程代码,共计8个章节,70个实验

基于LangChain的RAG与Agent实现.zip

基于LangChain的RAG与Agent实现.zip

基于LangChain的RAG与Agent实现.zip

Ollama大模型联网指南[代码]

Ollama大模型联网指南[代码]

本文详细介绍了如何让Ollama大模型实现联网功能,包括准备工作、必要的库导入、联网函数定义、模型配置、训练与测试步骤。首先需要安装Python环境和相关库,获取Ollama大模型代码。接着通过导入requests和json等库,定义联网函数与服务器通信。然后配置模型参数和数据,进行训练并将中间结果上传至服务器。最后测试模型并上传测试结果。文章提供了具体代码示例,帮助读者逐步完成联网设置,适用于实际应用中的需求调整与优化。

Autogenstudio与ollama本地大模型安装[项目源码]

Autogenstudio与ollama本地大模型安装[项目源码]

本文详细介绍了如何从零开始安装Autogenstudio并配合ollama部署本地大模型。首先,通过Anaconda3创建Python环境并安装Autogenstudio,随后在浏览器中打开可视化界面。接着,安装ollama并下载所需的大模型(如gemma2:9B),通过命令行启动模型并测试连接。此外,还介绍了Litellm的安装与配置,用于轻量快速部署大模型。最后,指导用户在Autogenstudio中添加本地大模型,配置参数并测试连接成功。整个过程涵盖了环境搭建、模型安装、部署及测试,适合希望本地化运行大模型的开发者参考。

Local-NotebookLM:PDF转播客[项目源码]

Local-NotebookLM:PDF转播客[项目源码]

Local-NotebookLM是一个开源工具,能够将PDF文档自动转换为生动的播客音频,帮助用户更高效地消化学术文献。该工具通过提取PDF文本、清理格式并生成对话脚本,再结合文本转语音技术,让AI以自然语气朗读内容。支持多speaker模式,用户可选择1-5个虚拟角色进行对话,如主持人、好奇宝宝和技术宅,提升学习效率。工具提供多种风格选项,如轻松casual模式或严谨academic风格,满足不同需求。安装简单,支持网页界面、命令行和编程接口三种使用方式,且支持本地部署,保障隐私安全。适用于学生、研究员、打工者和创作者等多种场景,完全免费开源,支持多种大模型接口和自定义功能。

Docker部署Ollama大模型[项目源码]

Docker部署Ollama大模型[项目源码]

本文详细介绍了如何在本地使用Docker部署Ollama大模型,包括安装ollama/ollama镜像、下载并运行llama3模型的具体步骤。同时指出了在挂载目录时可能遇到的坑,即使用相对路径会导致本地文件夹位于/var/lib/docker/volumes/ollama而非运行命令的相对路径。此外,还提供了测试API的curl命令示例,展示了如何通过API与模型交互获取台湾美食列表。最后,文章还介绍了如何使用Python客户端与Ollama进行交互,包括普通请求和流式输出的实现方式,为开发者提供了完整的参考方案。

Ollama本地部署大模型[项目源码]

Ollama本地部署大模型[项目源码]

本文详细介绍了如何使用Ollama在本地部署HuggingFace下载的开源大模型,包括模型选择、下载、格式转换及加载运行的全过程。文章首先对比了GGUF和Safetensor两种模型格式的优缺点,推荐使用GGUF格式以便直接加载。随后,通过创建Modelfile并配置参数,展示了如何导入和运行模型。此外,还介绍了如何通过修改Modelfile来优化模型的中文支持,并提供了API调用的简单示例。最后,文章提到了生产环境中使用Ollama的API与OpenAI SDK的无缝切换方案,并推荐了相关开源工具。

Ollama本地部署大模型[项目代码]

Ollama本地部署大模型[项目代码]

本文详细介绍了Ollama框架的本地部署方法,包括CPU和GPU两种运行方式。Ollama是一个开源框架,支持在本地运行大型语言模型,并提供便捷的API。文章首先介绍了Ollama的基本概念和Open WebUI的功能,随后详细讲解了在CPU环境下如何启动Ollama、注册使用、下载模型以及进行聊天对话。接着,文章介绍了在GPU环境下的安装和启动步骤,并对比了两种环境下的性能差异。最后,文章还介绍了Ollama的接口使用方法,包括运行模型、流式对话、单体对话和带历史记录的对话。

ollama+本地api示例代码

ollama+本地api示例代码

自己构建deep seek的API接口,写了一个简单的demo,能够调用ollama生成的localhost:11434接口进行大模型流式问答

最新推荐最新推荐

recommend-type

asp友情链接交换平台系统

asp友情链接交换平台系统友情链接管理
recommend-type

高校技术转移办公室人员如何推动科技成果的精准对接?.docx

高校技术转移办公室人员如何推动科技成果的精准对接?
recommend-type

高校技术转移办公室人员如何利用平台提升成果转化对接效率?.docx

高校技术转移办公室人员如何利用平台提升成果转化对接效率?
recommend-type

产业园区运营负责人如何利用数智工具精准匹配企业技术需求?.docx

产业园区运营负责人如何利用数智工具精准匹配企业技术需求?
recommend-type

通信行业基于RocketMQ事务消息的最终一致性实现:计费场景下本地事务与消息投递的工程化协同方案

内容概要:本文深入探讨了RocketMQ事务消息在通信行业核心场景中的工程化应用,重点解决本地事务与消息发送之间的一致性难题。通过“半消息+两阶段提交+状态回查”机制,RocketMQ确保计费、开通、停复机等关键操作在本地数据库事务成功后,消息必定可靠投递,从而实现最终一致性。文章结合Spring Boot与RocketMQTemplate的代码实例,详细解析了事务消息的生产者实现、本地事务执行与状态回查的协同逻辑,并强调消费端幂等设计的重要性。随着RocketMQ 5.x在高可用与轻量化方向的发展,事务消息正从应用层补偿手段演进为支撑5G、实时计费等场景的通信级一致性基础设施。; 适合人群:具备Java与Spring Boot开发经验,熟悉消息队列基本概念,从事通信、金融或高一致性要求系统开发的中高级研发人员;尤其适用于关注分布式事务、最终一致性与系统可靠性的工程师。; 使用场景及目标:①掌握RocketMQ事务消息在计费、账单同步等场景中的落地实践;②理解半消息、本地事务对齐、状态回查等核心机制的设计原理与编码要点;③构建具备强一致性保障的分布式通信系统,减少对人工对账与定时补偿的依赖; 阅读建议:本文结合实际代码与行业场景,建议读者在理解原理的基础上,动手搭建环境并调试事务消息全流程,重点关注本地事务与数据库交互的原子性、回查逻辑的持久化依赖以及消费端的幂等处理,以全面掌握其在高可靠系统中的最佳实践。
recommend-type

科研院所如何利用生成式AI构建科创知识图谱与智能体,实现低成本数据驱动决策与高效技术转移

资源摘要信息:“科研院所如何借助生成式AI赋能工具突破客户获取成本攀升,达成打造低成本的数据驱动决策能力?”这一命题直指当前我国科技创新体系中最关键、最紧迫的结构性矛盾——科研供给侧与产业需求侧之间的系统性脱节。其核心知识点涵盖生成式人工智能(GenAI)在科技成果转化全生命周期中的深度嵌入逻辑、数据要素重构创新服务范式的底层机制、以及以“科创知识图谱+数智应用+智能体”三位一体架构支撑的新型技术转移基础设施建设路径。具体而言,该知识点体系可从五个维度展开深度解析:第一,生成式AI对传统技术转移价值链的解构与重铸。不同于以往仅作为辅助工具的AI应用,生成式AI凭借其强大的语义理解、跨模态推理、动态内容生成与上下文自适应能力,实现了从“被动响应式匹配”向“主动预见式策动”的范式跃迁。例如,在专利价值评估环节,生成式AI不再局限于结构化指标打分,而是通过融合专利文本、引用网络、技术演进脉络、竞品布局、产业政策文本、企业年报、投融资事件等多源异构数据,构建动态演化型技术价值预测模型;它能自动生成《某纳米催化剂专利在新能源汽车电池回收场景下的商业化潜力白皮书》,包含技术成熟度(TRL)、市场渗透节奏推演、潜在合作企业画像、风险预警清单及定制化转化路径建议,将原本需3–6个月的人工尽调压缩至小时级输出,显著降低客户触达前的沉没成本。第二,科创知识图谱作为AI赋能的底层认知基座,其构建绝非简单实体关系抽取,而是融合领域本体工程、专家规则注入、大模型微调与持续反馈学习的闭环系统。该图谱需覆盖“技术—学科—专利—标准—论文—人才—企业—园区—政策—资本—产业链—应用场景”12类核心节点,并建立超百万级三元组的动态关联网络,支持语义级检索、技术路线推演、断点识别与替代方案生成。第三,数智应用层体现为面向不同角色的轻量化、场景化SaaS工具集:面向科研人员的“成果智荐助手”可自动将结题报告转化为技术简报、商业计划书初稿与PPT路演素材;面向企业CTO的“需求反向寻技引擎”支持以自然语言描述产线痛点(如“注塑件表面熔接痕超标且良率低于82%”),即时推送匹配度Top5的高校专利、中试进展、技术持有人联系方式及成功案例视频;面向技术经理人的“转化沙盘推演系统”则集成政策计算器、资金链模拟器、风险热力图与合规审查模块,实现全流程数字化预演。第四,智能体(Agent)架构赋予平台自主协同能力:多个专业Agent(如“政策解读Agent”“法律合规Agent”“估值建模Agent”“路演辅导Agent”)可在用户授权下组成临时协作团队,自动完成从需求确认、知识产权尽调、作价入股方案设计到对接地方政府专项基金的端到端服务,彻底打破传统中介依赖强、响应慢、标准化低的瓶颈。第五,低成本数据驱动决策能力的本质,是构建“感知—分析—决策—执行—反馈—进化”的PDCA智能飞轮:通过埋点采集用户行为、转化进度、市场反馈等实时数据,持续优化推荐算法、调整知识图谱权重、迭代Agent策略库,使整个科技创新服务平台具备自我进化能力。这种能力不仅将单次客户获取成本降低60%以上(科易网实测数据),更使科研院所能基于全域转化数据,精准识别优势学科集群、预判区域产业升级方向、动态配置技术转移专项经费、科学评估团队绩效,真正实现从“经验治所”到“数据治所”的战略升级。尤为关键的是,该模式并非替代科研人员,而是将其从繁琐的信息筛选、文书撰写、流程协调中解放,聚焦于高价值的技术再创新与战略级产学研协同设计,从而在根本上重塑国家创新体系的运行效率与韧性。
recommend-type

用Rust构建企业级中后台:RushWind Admin开源实践与踩坑记录

上个月一个周五的晚上,我把 RushWind Admin 的仓库从 private 切成了 public。这个用 **Rust** 写的 **企业级中后台** 框架,从那天起正式 **开源** 了。 做这个项目的起因其实很朴素。我在过去几年里反复做企业内部管理系统,从供应链后台到运营平台,每次都是用户管理、角色权限、菜单配置、增删改查,换个业务壳再来一遍。一开始用 Java,后来换过 Go,确实都能干,但总觉得少了点东西。直到我把其中一个核心后端用 Rust 重写之后,才发现这个领域被低估了太多——Rust 的强类型、内存安全和极致性能,恰恰是中后台系统最需要的三样东西,只是很少有人愿意把这
recommend-type

思科虚拟环境里路由器和服务器是怎么配合工作的?

### 思科虚拟机环境中路由器与服务器的关系及作用 在思科虚拟机环境中的路由器与服务器之间的交互主要体现在以下几个方面: #### 路由器的功能和角色 路由器作为网络设备的核心组件之一,在虚拟化环境下同样承担着重要的职责。它不仅负责数据包的转发,还提供多种管理功能来保障网络性能和安全性。例如,`show` 命令可以帮助管理员查看路由器的状态、配置以及资源利用率等信息[^1]。 #### 服务器的角色 服务器则是在计算能力和服务提供方面的核心节点。特别是在云环境中,当内网IP资源较为充裕时,可以通过特定技术手段使虚拟机直接利用宿主机的物理网卡进行通信,从而减少中间环节带来的延迟并提升效率[
recommend-type

VPP插件pktdump源码分析与数据包捕获功能实现

VPP(Vector Packet Processing)是由思科公司主导开发的高性能开源网络数据平面框架,广泛应用于电信运营商、云服务提供商及边缘计算场景中,其核心目标是实现接近线速(line-rate)的数据包转发能力,同时保持高度可扩展性与模块化设计。本压缩包命名为“vpp_plugin.zip”,虽标题简洁,但实质承载的是VPP生态中极为关键的一类组件——插件(Plugin)。在VPP架构中,插件机制是其区别于传统内核网络栈(如Linux kernel netfilter)的核心设计理念之一:VPP本身提供统一的向量化处理引擎、内存管理(如buffer pool、ring-based packet I/O)、事件调度器(worker thread模型)、CLI接口及API服务层,而具体协议支持、硬件驱动、监控功能、调试工具等均以动态加载插件的方式实现,从而实现“核心精简、功能按需”的工程哲学。 压缩包内包含两个文件:`pktdump.am` 和 `pktdump`,二者构成一个完整的VPP插件单元。其中,`pktdump` 是编译后的可执行插件二进制文件(通常为ELF格式共享对象,即.so文件,但在VPP构建体系中常以无扩展名方式命名),而 `pktdump.am` 则是Autotools构建系统中的Automake模板文件(.am后缀),用于指导插件源码的编译流程,包括头文件路径、依赖库链接(如vppinfra、vlib、vnet)、编译标志(-fPIC、-shared)、安装规则等。该插件名称“pktdump”直指其功能本质——数据包抓取与转储(Packet Dump),属于VPP中最基础也最常用的调试类插件之一。它并非替代tcpdump或Wireshark的全功能抓包工具,而是深度嵌入VPP数据通路的轻量级观测模块,可在任意VPP graph node(如ip4-input、ethernet-input、ip4-lookup等)前后注入钩子(hook),实时捕获经过该节点的原始packet buffer内容,并支持多种输出方式:控制台打印(hex dump + ASCII)、环形缓冲区缓存、文件写入(pcap格式兼容)、甚至通过VPP API回调至外部管理进程。 从技术实现层面看,pktdump插件严格遵循VPP插件开发规范:首先定义`vlib_plugin_register_t`结构体全局变量,声明插件元信息(版本号、作者、描述、初始化/退出函数入口);其次实现`pktdump_init()`函数,在VPP启动时注册CLI命令(如`pktdump enable`, `pktdump disable`, `pktdump set filter`)、API消息类型(通过vpp-api-python或binary API调用)、以及graph node hook点;最关键的是其hook逻辑——利用VPP的node dispatch机制,在目标node执行前或后,遍历待处理的vector(即一批连续的packet buffers),对每个buffer调用`vlib_buffer_get_current()`获取L2/L3起始地址,结合`vlib_buffer_length_in_chain()`计算总长度,再依据用户配置的过滤条件(如源IP、目的端口、协议类型)进行匹配,命中则执行dump动作。整个过程完全运行在用户态,不触发上下文切换或系统调用,避免了传统抓包工具因频繁陷入内核导致的性能瓶颈,单核即可稳定捕获10M+ pps的流量样本。 此外,pktdump插件还体现VPP的内存零拷贝特性:dump操作直接读取vlib_buffer中预分配的data区域,无需memcpy复制到用户缓冲区;其日志输出采用VPP内置的`clib_warning()`或`vlib_cli_output()`,与VPP主日志系统无缝集成;插件热加载/卸载支持(通过`vppctl plugin reload`)确保运维过程中业务不中断。在实际部署中,pktdump常被用于故障定位(如ACL策略未生效、NAT转换异常)、性能分析(识别特定流引发的缓存失效)、协议栈验证(检查分片重组是否正确)等场景。值得注意的是,由于其运行于高速转发路径,生产环境启用时需谨慎配置采样率(如每千包抓1个)与缓冲区大小,防止因I/O阻塞拖慢整体吞吐。综上所述,“vpp_plugin.zip”虽仅含两个文件,却浓缩了VPP插件化架构的设计精髓、向量化编程范式、用户态网络栈调试方法论及电信级软件工程实践,是深入理解现代高性能数据平面不可或缺的学习样本与实战工具。
recommend-type

恐惧饥荒自建服务器全指南:从CPU选型到SteamCMD部署与排错

## 1. 为什么50人的房间却撑不过开局:先说清楚恐惧饥荒服务器的本质 先交代一句,我入坑恐惧饥荒(Dread Hunger)自建服务器,不是因为官方服务器不够用,而是被延迟逼的。当年200多人的服务器列表刷下来,亚洲节点一只手数得过来,进美服顶着180ms延迟,开个煤桶导航半天转不过身。更别提官方服务器偶尔来一次集体掉线,一船人莫名其妙全被送回大厅。所以我才决定自己搭一台专服,从硬件选型到配置文件逐行打磨,前前后后折腾了将近一个星期。 这个游戏和其他用UNITY引擎的生存游戏不太一样。**恐惧饥荒的专用服务器本质上是一个独立的64位进程**,博主在搜"服务器配置[20260926011