！！！不要安装opencompass
下载github官网包：https://github.com/open-compass/opencompass
介绍一下如何通过vllm-api的形式测试deepseek
1. 找到官方测试deepseek的文件
地址：opencompass/configs/models/deepseek
这里面有很多文件，基本都是本地部署的
2. Deepseek_api接口文件位置
这个接口文件的位置在
opencompass/models/deepseek_api.py
在opencompass/models/文件夹下有很多模型的api接口文件，通过这个文件可以看到具体要传入什么参数：比如，path,key,url等等
3. 定义Models
需要在这个位置opencompass/configs/models/deepseek
进行定义和调用api.py文件，
需要将DeepseekAPI从 opencompass位置引用过来
models里面的dict就是按照API接口，需要什么参数就输入什么参数就好了。这样就把Deepseek模型的API调用接口定义完了。
from opencompass.models import DeepseekAPIapi_meta_template = dict(round=[dict(role='HUMAN', api_role='HUMAN'),dict(role='BOT', api_role='BOT', generate=True),
], )models = [dict(abbr='Qwen2.5-7B-R1',type=DeepseekAPI,path='Qwen2.5-7B-R1',key='EMPTY', # The key will be obtained from $OPENAI_API_KEY, but you can write down your key here as wellurl='http://0.0.0.0:8052/v1/chat/completions',meta_template=api_meta_template,query_per_second=1,max_out_len=8192,max_seq_len=4096,batch_size=2),
]4. Models和datasets的组合
比如，我要测试deepseek的math和ceval的指标
在examples中新建一个文件eval_deepseek_openai.py
测试数据位置：opencompass/configs/datasets(官网给的数据真的很全，没有就自己下载一下)
数据集地址
wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip
from mmengine.config import read_basewith read_base():# 引入datasetfrom opencompass.configs.datasets.ceval.ceval_gen import \ceval_datasetsfrom opencompass.configs.datasets.math.math_gen import \math_datasets# 引入modelfrom opencompass.configs.models.deepseek.openai_deepseek import \models as deepseekdatasets = ceval_datasets + math_datasets
models = deepseek
5. python运行
这个项目入口文件run.py，直接用下面的命令运行就好了
python run.py examples/eval_deepseek_openai.py
6. 环境安装
如果发生了各种和注册相关的问题，先自查一下有没有在环境中安装opencompass包，如果安装了就直接卸载，按照如下方式重新安装
pip install -e .
这应该会解决大部分问题
这个项目的逻辑真的挺难搞的！