Closed noforit closed 3 months ago
我在评测时的模型type 为vllm,参数如下: 但是显卡占用只使用了一张卡来评测任务 我想让任务划分为几份分别在8张卡上评测,这样如何实现呢? 类似我如果设定为模型type为HF的话,会自动达到这种效果。
我在评测时的模型type 为vllm,参数如下:
但是显卡占用只使用了一张卡来评测任务
我想让任务划分为几份分别在8张卡上评测,这样如何实现呢?
类似我如果设定为模型type为HF的话,会自动达到这种效果。
![image](https://github.com/bigcode-project/bigcode-evaluation-harness/assets/97608046/51d5925b-830d-43a3-a1da-1e168830c65d)