您的位置:首页 > 汽车 > 新车 > 福田网站建设制作_市场监管局网络直播_网站推广优化外包公司_网站制作的服务怎么样

福田网站建设制作_市场监管局网络直播_网站推广优化外包公司_网站制作的服务怎么样

2024/12/28 14:38:40 来源:https://blog.csdn.net/m0_74824954/article/details/144423624  浏览:    关键词:福田网站建设制作_市场监管局网络直播_网站推广优化外包公司_网站制作的服务怎么样
福田网站建设制作_市场监管局网络直播_网站推广优化外包公司_网站制作的服务怎么样
服务器Ubuntu22.04系统下 ollama的详细部署安装和搭配open_webui使用
  • 一、ubuntu和docker基本环境配置
          • 1.更新包列表:
          • 2. 安装docker依赖
          • 3. 添加docker密钥
          • 4.添加阿里云docker软件源
          • 5.安装docker
          • 6.安装完成docker测试
          • 7. docker配置国内镜像源
  • 二、安装英伟达显卡驱动
    • 1.使用 Apt 安装
  • 三、使用docker安装ollama
          • 1. 使用docker拉取ollama镜像
          • 2.使用docker运行以下命令来启动 Ollama 容器
          • 3.使用ollama下载模型
  • 四、使用docker安装open-webui
          • 1. docker部署ollama web ui
          • 2.注册账号
          • 3.成功进入:
          • 4. 聊天界面

一、ubuntu和docker基本环境配置

1.更新包列表:
  • 打开终端,输入以下命令:

    sudo apt-get update

    sudo apt upgrade

更新时间较长,请耐心等待

2. 安装docker依赖
sudo apt-get install ca-certificates curl gnupg lsb-release
3. 添加docker密钥
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
4.添加阿里云docker软件源
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
5.安装docker
apt-get install docker-ce docker-ce-cli containerd.i
6.安装完成docker测试
docker -v

在这里插入图片描述

7. docker配置国内镜像源
  • 7.1 编辑配置文件

    vi /etc/docker/daemon.json

按i进入编辑模式

加入以下内容:

{"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn","https://hub-mirror.c.163.com","https://docker.m.daocloud.io", "https://ghcr.io","https://mirror.baidubce.com","https://docker.nju.edu.cn"]
}

按ESC键退出编辑模式,接着输入:wq,保存并退出

  • 7.2 重新加载docker

    sudo systemctl daemon-reload

  • 7.3 重启docker

    sudo systemctl restart docker

二、安装英伟达显卡驱动

1.使用 Apt 安装

  • 配置存储库

    curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey
    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
    curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list
    | sed ‘s#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g’
    | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list

  • 更新包列表

    sudo apt-get update

  • 安装 NVIDIA Container Toolkit 软件包

    sudo apt-get install -y nvidia-container-toolkit

  • 配置 Docker 以使用 Nvidia 驱动程序

    sudo nvidia-ctk runtime configure --runtime=docker

  • 重新启动docker

    sudo systemctl restart docker

三、使用docker安装ollama

1. 使用docker拉取ollama镜像
docker pull ollama/ollama:latest

国内镜像

docker pull dhub.kubesre.xyz/ollama/ollama:latest
2.使用docker运行以下命令来启动 Ollama 容器
docker run -d --gpus=all --restart=always -v /root/project/docker/ollama:/root/project/.ollama -p 11434:11434 --name ollama ollama/ollama

使ollama保持模型加载在内存(显存)中

  • 参考文章
    ollama如何保持模型加载在内存(显存)中或立即卸载

  • 执行以下命令:

    docker run -d --gpus=all -e OLLAMA_KEEP_ALIVE=-1 -v /root/project/docker/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

3.使用ollama下载模型
  • 这里示例下载阿里的通义千问

    docker exec -it ollama ollama run qwen2

  • 运行效果如图:
    在这里插入图片描述

  • 模型库

模型

参数数量

大小

下载方式

Llama 2

7B

3.8GB

docker exec -it ollama ollama run llama2

Mistral

7B

4.1GB

docker exec -it ollama ollama run mistral

Dolphin Phi

2.7B

1.6GB

docker exec -it ollama ollama run dolphin-phi

Phi-2

2.7B

1.7GB

docker exec -it ollama ollama run phi

Neural Chat

7B

4.1GB

docker exec -it ollama ollama run neural-chat

Starling

7B

4.1GB

docker exec -it ollama ollama run starling-lm

Code Llama

7B

3.8GB

docker exec -it ollama ollama run codellama

Llama 2 Uncensored

7B

3.8GB

docker exec -it ollama ollama run llama2-uncensored

Llama 2

13B

7.3GB

docker exec -it ollama ollama run llama2:13b

Llama 2

70B

39GB

docker exec -it ollama ollama run llama2:70b

Orca Mini

3B

1.9GB

docker exec -it ollama ollama run orca-mini

Vicuna

7B

3.8GB

docker exec -it ollama ollama run vicuna

LLaVA

7B

4.5GB

docker exec -it ollama ollama run llava

Gemma

2B

1.4GB

docker exec -it ollama ollama run gemma:2b

Gemma

7B

4.8GB

docker exec -it ollama ollama run gemma:7b

四、使用docker安装open-webui

1. docker部署ollama web ui

查看自己服务器的业务端口,我们这里是30131-30140
在这里插入图片描述
main版本

docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:main

cuda版本

docker run -d -p 30131:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.nju.edu.cn/open-webui/open-webui:cuda
  • 安装成功后,可以在另一台计算机进行访问,如下:
    在这里插入图片描述
2.注册账号
  • 默认第一个账号是管理员
    在这里插入图片描述
3.成功进入:

在这里插入图片描述

4. 聊天界面

在这里插入图片描述
在这里插入图片描述

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com