想要在windows中配置一个本地AI知识库,要求幻觉少,内存占有少,rag模型和语言模型都用本地的模型生成,下面的操作都是基于windows10进行
目录
- 第一步 安装ollama
- 一、下载安装包
- 二、安装
- 第二步 安装相关模型
- 第三步 安装插件
- 第四步 配置插件
- 第五步 使用插件
第一步 安装ollama
一、下载安装包
首先需要在windows中安装ollama服务,进入ollama官网下载页面,选择windows安装包即可下载
二、安装
点击安装包默认install即可安装成功(似乎没有选择自定义安装地址的地方,默认C盘)
不过我们可以把模型放到其他盘,这就需要进行环境变量的设置,具体操作步骤如下:
电脑桌面选择“此电脑” —— 右键 —— 选择“属性” —— 点击页面底下的“高级系统设置”
点击页面右下角的“环境变量”按钮
点击“环境变量”页面中“系统变量”的新建按钮
输入如图内容即可,变量名为:OLLAMA_MODELS;变量值为想要模型存储的位置
第二步 安装相关模型
win+R快捷键弹出运行框,输入cmd点击确定
在命令行中输入ollama list不报错就说明安装好了,在运行过程中(图中我是已经安装了很多模型,初始化情况下此列表应该为空)
执行ollama run deepseek-r1:1.5b就能下载对应的模型了,(具体ollama支持那些模型,可以进入链接页面查看)。
下载完会进入下面的页面,则代表可以对话了
继续执行ollama run nomic-embed-text:latest,会自动下载此RAG模型,最后会出现如图的报错,这个不用管他
以上,ollama安装模型就完成了,一共安装了两个模型,一个对话模型 deepseek-r1:1.5b,一个RAG模型 nomic-embed-text:latest
第三步 安装插件
先到本链接下载pageassist插件包 插件压缩包
在本地解压后,记住解压后的地址
进入到Google浏览器插件管理页面
浏览器右上角 —— 点击“管理拓展程序”
点击左上角“加载已解压的拓展程序”按钮 —— 选择上一步解压的文件夹
此时,点击拓展程序中对应的插件,就可以进入到页面
第四步 配置插件
选择右上角的设置按钮
需要配置红框中的三个模块
RAG Settings配置RAG模型内容
Ollama Settings配置语言模型内容
Manage Knowledge配置知识库内容
点击RAG Setting,选择 nomic-embed-text:latest 模型
点击“save”,【注意save的位置,这个不是页面最下面的save按钮】
选择Ollama Settings,如图配置,点击save按钮
选择Manage Knowledge —— 点击右边的Add New Knowledge —— 上传文件 —— 点击submit
注意:这里也可以同时选择多个文件,不过似乎文档库只能创建不能修改,所以创建文档库时相关文件就要全部上传
这样最基本的配置就完成了,知识库中也传入了一个文档
第五步 使用插件
点击首页左上角的New Chat,点击图中②的地方选择知识库内容
这样就可以和模型对话啦!生成的效率还得要看电脑配置。
大家有遇到什么问题欢迎留言探讨。