关于Linux中引用auto_gptq提示“CUDA extension not installed”

问题现象如下：

引用auto_gptq时报CUDA extension not installed的提示

解决方案（以下解决方案的前提是torch torchvision torchaudio都装好cu118版本了）：

1、下载官方源码：

git clone https://github.com/AutoGPTQ/AutoGPTQ.git

2、安装bitsandbytes

pip install bitsandbytes --no-cache-dir

3、从源码安装gptq

pip install . (Install from source AutoGPTQ)

 

然后就没问题了！