opencompass框架测试Deepseek使用教程

！！！不要安装opencompass

下载github官网包：https://github.com/open-compass/opencompass

介绍一下如何通过vllm-api的形式测试deepseek

1. 找到官方测试deepseek的文件

地址：opencompass/configs/models/deepseek

这里面有很多文件，基本都是本地部署的

2. Deepseek_api接口文件位置

这个接口文件的位置在
opencompass/models/deepseek_api.py
在opencompass/models/文件夹下有很多模型的api接口文件，通过这个文件可以看到具体要传入什么参数：比如，path,key,url等等

3. 定义Models

需要在这个位置opencompass/configs/models/deepseek
进行定义和调用api.py文件，
需要将DeepseekAPI从 opencompass位置引用过来
models里面的dict就是按照API接口，需要什么参数就输入什么参数就好了。这样就把Deepseek模型的API调用接口定义完了。

from opencompass.models import DeepseekAPI

api_meta_template = dict(round=[
    dict(role='HUMAN', api_role='HUMAN'),
    dict(role='BOT', api_role='BOT', generate=True),
], )

models = [
    dict(
        abbr='Qwen2.5-7B-R1',
        type=DeepseekAPI,
        path='Qwen2.5-7B-R1',
        key=
        'EMPTY',  # The key will be obtained from $OPENAI_API_KEY, but you can write down your key here as well
        url='http://0.0.0.0:8052/v1/chat/completions',
        meta_template=api_meta_template,
        query_per_second=1,
        max_out_len=8192,
        max_seq_len=4096,
        batch_size=2),
]

4. Models和datasets的组合

比如，我要测试deepseek的math和ceval的指标
在examples中新建一个文件eval_deepseek_openai.py
测试数据位置：opencompass/configs/datasets(官网给的数据真的很全，没有就自己下载一下)
数据集地址

wget https://github.com/open-compass/opencompass/releases/download/0.2.2.rc1/OpenCompassData-core-20240207.zip
unzip OpenCompassData-core-20240207.zip

from mmengine.config import read_base

with read_base():
		# 引入dataset
    from opencompass.configs.datasets.ceval.ceval_gen import \
        ceval_datasets
    from opencompass.configs.datasets.math.math_gen import \
        math_datasets
    # 引入model
    from opencompass.configs.models.deepseek.openai_deepseek import \
        models as deepseek

datasets = ceval_datasets + math_datasets
models = deepseek

5. python运行

这个项目入口文件run.py，直接用下面的命令运行就好了

python run.py examples/eval_deepseek_openai.py

6. 环境安装

如果发生了各种和注册相关的问题，先自查一下有没有在环境中安装opencompass包，如果安装了就直接卸载，按照如下方式重新安装

pip install -e .

这应该会解决大部分问题

这个项目的逻辑真的挺难搞的！