企业内部可能有些数据比较敏感,不能连接互联网。deepseek来提高工作效率,这个时候你可以利用ollama在内网本地部署来实现。
本式样是先在自己电脑上用虚拟机部署好,再用U盘把虚拟机文件复制到内网去。
一、使用VMware新建WIN2022虚拟机
(本步骤省略)
二、使用ollama部署本地LLM模型
- 下载ollama
官网https://ollama.com/下载自已电脑对应的ollama 版本。
下载太慢的请看这里,我用移动的宽带下特别快
两个文件下到同一目录,用360解压缩
https://download.csdn.net/download/xzzteach/90571904
https://download.csdn.net/download/xzzteach/90571885
- 安装ollama
注意:
Ollama安装包默认只能安装到C盘,Ollama本身大概会占用4GB左右;
如果大家都C盘空间充足的话可以直接双击打开安装包点击安装即可;
建议将Ollama安装包放到想要安装的路径下,本实验安装在 D:\Ollama
- 在安装文件目录中进入CMD
2. 输入安装指令
OllamaSetup.exe /DIR=D:\Ollama
- 本地部署DeepSeek
选择模型并下载
打开Ollama官网,点击顶部的Models链接,此时我们就会看到deepseek-r1模型排在第一位,如下图所示:
这里以14B模型为例(推荐使用移动宽带这样下载快一些)
ollama run deepseek-r1:14b
4. 搭建个人知识库
输入指令
ollama pull shaw/dmeta-embedding-zh
- 安装python3.11
https://download.csdn.net/download/xzzteach/90572963 - 安装Open WebUI
pip install open-webui -i https://mirrors.aliyun.com/pypi/simple/
- 启动Open WebUI
open-webui serve