成都app开发公司排名_三门峡设计公司官网_友情链接交换的意义是什么_网络建设推广

使用文档

基础环境准备

基础环境安装

创建python虚拟环境

python3 -m venv ~/gpustack
source ~/gpustack/bin/activate

安装gpustack

pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
# all：包含全部组件，vllm：只安装vllm推理模型组件，audio：音频模型组件
pip install gpustack[all] -i https://pypi.tuna.tsinghua.edu.cn/simple

启动

gpustack version
gpustack start --port 8080
# 获取admin密码
cat /var/lib/gpustack/initial_admin_password
# 登录地址 http://192.168.3.17:8080

界面