DeepSeek-R1-0528模型评测流程与完整测评报告
输入“/”快速插入内容
DeepSeek-R1-0528模型评测流程与完整测评报告
DeepSeek-R1-0528模型评测流程与完整测评报告
用户6676用户66762025年5月29日修改
1.
EvalScope安装流程
为了避免和Unsloth的依赖产生冲突，EvalScope需要再单独创建虚拟环境，然后再进行安装，具体安装流程如下：
代码块
conda create --name evalscope python=3.11
conda init
source ~/.bashrc
conda activate evalscope
conda install jupyterlab
conda install ipykernel
python -m ipykernel install --user --name evalscope --display-name "Python evalscope"
pip install evalscope
额外选项
代码块
pip install 'evalscope[opencompass]' # 安装 OpenCompass backend
pip install 'evalscope[vlmeval]' # 安装 VLMEvalKit backend
pip install 'evalscope[rag]' # 安装 RAGEval backend
pip install 'evalscope[perf]' # 安装 模型压测模块 依赖
pip install 'evalscope[app]' # 安装 可视化 相关依赖
此外，也可以考虑源码安装：
代码块
git clone https://github.com/modelscope/evalscope.git
cd evalscope/
pip install omegaconf
pip install -e . # 安装 Native backend
# 额外选项
pip install -e '.[opencompass]' # 安装 OpenCompass backend
pip install -e '.[vlmeval]' # 安装 VLMEvalKit backend
pip install -e '.[rag]' # 安装 RAGEval backend
pip install -e '.[perf]' # 安装 模型压测模块 依赖
pip install -e '.[app]' # 安装 可视化 相关依赖
pip install -e '.[all]' # 安装所有 backends (Native, OpenCompass, VLMEvalKit, RAGEval)
2.
进行模型性能评估
接下来即可进一步进行模型性能评估。这里我们先尝试对其进行初始状态下的性能评估，然后等微调结束后，再进行新一轮的评估，进而对比微调前后模型性能变化情况。这里需要在Jupyter中选择evalscope kernel：