1. 默认安装cpu版torch,可重新安装为gpu版
教程:本地安装torch2.3.1,cuda12.1,python3.10-CSDN博客
2.安装vllm失败,不支持window系统
首次安装缺少dll文件,下载并放到win32目录下解决
PyTorch之loading fbgemm.dll异常的解决办法_pytorch fbgemm-CSDN博客
下载速度超级慢,最后还是下载完了,但把torch对应的版本升级为2.4,还是cpu版的,运行失败,现在项目缺少vllm引擎
卸载vllm,重装gpu版本torch,重新安装了vllm0.5.1版本,显示vllm不支持window
pip install VLLM_VERSION=0.5.1