卖设备用哪个网站_网络工程和软件工程_重庆seowhy整站优化_长沙网站推广和优化

一、简介

         Open-WebUI是一个开源项目，旨在为本地大语言模型提供一个仿照ChatGPT用户界面的图形化界面。这个项目不仅提供了一个直观的界面，还支持多种功能，包括代码高亮、数学公式输入、网页浏览、预设提示词、本地RAG集成、对话标记、下载模型、聊天记录以及语音支持等。            Open WebUI的设计受到了ChatGPT的启发，旨在确保用户获得友好易用的体验，无论是在桌面电脑还是移动设备上，都能享受一致而流畅的用户体验。

源码地址：Open-WebUI

官网地址：官网

二、安装

       如果支持GPU，则使用下面的指令安装，相信是多数人的选择。官网的这个指令简单的另人发指。其实还有许多准备工作。虽然官网也给了其它的不同条件的指令，但你要知道人家是不考虑你在国内的这个X因素的。

docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

关于docker的安装请看另一篇博文（docker安装）。运行上面指令后怎样？啥也不是。

1、首先你要添加一个参数，因为国内无法连接huggingface.

-e HF_ENDPOINT=https://hf-mirror.com

2、如果你单独安装的Ollama,则需要添加参数 

--network=host
-e OLLAMA_BASE_URL=http://127.0.0.1:11434 

3、修改数据存储的位置

-v /data/open-webui/data:/app/backend/data \

4、如果要支持GPU则需要添加以下参数，还要先进行第5步的安装

--gpus all

5、如果要支持GPU，还要先安装nvidia-container-runtime,否则当你运行open-webui时会报错：

      docker: Error response from daemon: could not select device driver "" with capabilities: [[gpu]].

依次运行下面的指令，安装这个环境，相信初始安装的朋友都没有安装过这个。

#下载GPG密钥
curl -fsSL https://nvidia.github.io/nvidia-container-runtime/gpgkey | sudo gpg --dearmor -o /etc/apt/keys/nvidia.gpg#配置环境
distribution=$(. /etc/os-release;echo $ID$VERSION_ID) \
&& curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | \
sed 's#deb https://#deb [signed-by=/etc/apt/keys/nvidia.gpg] https://#g' | \
sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list#更新源
sudo apt-get update#安装运行环境
sudo apt-get install nvidia-container-runtime#重启docker服务
systemctl restart docker

三、最终的安装指令，仅供参考，根据自己的需要修改参数。尤其是上面第5步。下面的指令是不带有GPU的指令。

sudo docker run -d \--network=host \-v /data/open-webui/data:/app/backend/data \-e HF_ENDPOINT=https://hf-mirror.com \-e OLLAMA_BASE_URL=http://127.0.0.1:11434 \-e DEFAULT_USER_ROLE=user \-e DEFAULT_MODELS=qwen1 5-14b \-e ENABLE_IMAGE_GENERATION=True \-e local_files_only=True \--name open-webui \--restart always \ghcr.io/open-webui/open-webui:main