亚运会110周年庆典在杭州举行_大连旅顺天气_如何做好网站推广优化_搜狗指数官网

1.前言

今年过年，deepseek一下子爆火，导致我前段时间好好用的官网直接挤爆了，一直转圈圈到没心思过了，天天挂热搜，直接导致我的科研工作受阻（dog），好吧，话不多说，看看怎么在本地部署deepseek丝滑享受以及白嫖一下api体验>_<!
部署环境：
系统：ubuntu22.04
显卡：一张4090,24G显存

2.vllm部署deepseek-R1-8B

2.1 vllm安装

conda create -n vllm python==3.11
conda activate vllm
pip install vllm

2.2 模型下载

直接去HF官网找到官方发布的模型仓库https://huggingface.co/deepseek-ai/DeepSeek-R1-Distill-Qwen-7B/tree/main，可以自己用浏览器下载或者迅雷下载（我觉得这个快一点）亦或者HF提供的下载方式