前言:
在当今人工智能飞速发展的时代,大语言模型的应用与探索不断拓展着科技边界。Ollama 作为一款开源且极具创新性的工具,为本地部署大语言模型开辟了便捷通道。它操作简便,极大降低了模型部署门槛,让开发者无需复杂云端配置,就能在本地轻松运行各类模型,在模型部署领域占据重要地位。而 DeepSeek - R1 则是 DeepSeek 公司推出的性能卓越的大语言模型。凭借先进算法与强大算力支撑,它在自然语言处理任务中表现优异,在成本控制与性能优化上成果显著,训练成本远低于同类模型。无论是文本生成、问答交互,还是语义理解,都能提供高质量输出。
本文将深入探讨如何在 Ollama 这一得力工具基础上,成功部署 DeepSeek-R1模型,为大家解锁更高效、更个性化的人工智能应用体验。
DeepSeek 则来自中国杭州,由浙江对冲基金 High-Flyer 出资,于 2023 年 7 月成立。创始人梁文峰同时担任公司 CEO,团队积极从国内顶尖高校招募 AI 人才,还广纳计算机科学领域外的专家。
Ollama 诞生于美国加利福尼亚州帕洛阿尔托,由 Michael Chiang 和 Jeffrey Morgan 创立的独立初创团队开发,是一款开源项目。它致力于让用户在本地设备便捷运行大型语言模型,代码遵循 MIT 开源协议,赋予用户查看、修改和分发权限,极大降低了模型本地部署门槛,在模型部署领域占据重要地位。
环境:
系统IOS:Windows 10
AI盒子:OllamaSetup_v0.5.7.0.exe
模型:deepseek-r1:1.5b ----也可以根据配置灌相应模型,支持全血 2@2
一、Ollama程序部署
1.1 程序下载
官网地址:https://ollama.com/download
归属国外资源,这个下载速度,大家都懂的,建议可以打包或从其他资源库获取。
OllamaSetup.exe
相关链接:
https://download.csdn.net/download/lookboydfw/90415051
我们选择Windows版本直接下载(推荐64位系统),安装包约745M,支持Win10/11系统。点击"Download for Windows"按钮即可开始下载。
1.2 程序安装
双击下载的OllamaSetup.exe,点击install之后,一路下一步就可以完成安装
验证安装,打开cmd/PowerShell输入:
ollama --version
结果出现相应版本号类似ollama version is 0.5.7即表示安装成功。
查看任务栏,有ollama小羊驼图标意味着 ollama已经启动。
备注:ollama是默认安装到C盘的,如果要安装到如D盘按以下操作接即可:
1)先进入ollamaSetup.exe安装包所在的文件。
2)在空白处右键,选择“在终端打开”,打开cmd窗口。
3)输入命令(此命令是设置安装路径): OllamaSetup.exe> /DIR=D:“Program Files”\ollama
4)回车后,会打开ollama的安装程序,直接install即可。
二、DeepSeek R1模型
2.1 模型全家桶
Ollama是一个运行开源大模型的平台,它提供了仓库存放非常多的开源模型,比如阿里通义千问, Meta llama等等。我们这次要探索的DeepSeek R1模型。
我们回到 ollama 官网,在搜索栏搜索 deepseek-r1或访问下述链接来获取相应模型。
https://ollama.com/library/deepseek-r1
从下图中可以看到,有1.5b, 7b, 8b,14b, 32b, 70b,671b等不同参数的模型。图中671b是DeepSeek R1模型,671b代表6710亿参数。所有版本均支持中英文双语,1.5b版实测可在8GB内存设备运行。
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:7b
ollama run deepseek-r1:8b
ollama run deepseek-r1:14b
ollama run deepseek-r1:32b
ollama run deepseek-r1:70b
ollama run deepseek-r1:671b
deepseek-r1:1.5b ---基础版(1.1GB),适合低配试玩(i5/8G内存/4G显存)起步
deepseek-r1:7b ---平衡版(4.7GB),主流(i7/16G内存/16G显存)起步
deepseek-r1:14b ---增强版(9.0GB),进阶版(i7/16G内存/32G显存)起步
模型 显存支撑 精度
deepseek-r1:1.5b 4G FP16
deepseek-r1:7b 18G FP16
deepseek-r1:8b 21G FP16
deepseek-r1:14b 36G FP16
deepseek-r1:32b 82G FP16
deepseek-r1:70b 181G FP16
deepseek-r1:671b 771.5G FP8
显存查看:
按下键盘上的“Win + R”组合键,打开运行窗口。
在运行窗口中输入“dxdiag”,然后点击“确定”或按下回车键。
使用DirectX诊断工具查看显示-总内存。
2.2 本地部署运行1.5b模型
Ollama完成后,选择自己电脑配置对应的版本,确保C盘有足够的内存空间。启动交互界面,在命令窗口中执行该命令:
ollama run deepseek-r1:1.5b
第一次运行,ollama会自动尝试从他们的仓库下载deepseek模型文件,当出现 success 时即表示部署成功,您可在本地进行信息检索和提问。
如已下载或运行模型会出现如下提示:
PS:我这边同步也部署了一套32b便于后面测试模型切换,这里提醒下,非必要尽量不要安装大模型,运行后你就知道啥叫高速运算和超强负载的效果了~~~
https://ollama.com/library/deepseek-r1:32b
ollama run deepseek-r1:32b
PS:如下载了多套模型,可以在命令窗台输入运行指令即可实现无缝切换。
ollama run deepseek-r1:1.5b
ollama run deepseek-r1:32b
2.3 使用输入测试指令:
ollamap则使用deepseek r1开始输出回答~
三、扩展:告别命令窗口,部署UI可视化页面
目前只能在命令控制台与DeepSeek交互,这时我们可以部署开源软件Open WebUI来提升用户体验,其界面和ChatGPT和DeepSeek类似。Open WebUI是一个可扩展、功能丰富、用户友好的自托管AI平台,旨在完全离线运行。它支持各种LLM运行程序,如Ollama和OpenAI兼容的API,内置RAG推理引擎,使其成为一个强大的AI部署解决方案。
以上,感谢学习交流,技术无止境…