bigcode-project / bigcode-evaluation-harness

A framework for the evaluation of autoregressive code generation language models.
Apache License 2.0
698 stars 180 forks source link

请问使用vllm评测时怎么实现类似HF多卡数据并行? #210

Closed noforit closed 3 months ago

noforit commented 3 months ago

我在评测时的模型type 为vllm,参数如下: image 但是显卡占用只使用了一张卡来评测任务 image 我想让任务划分为几份分别在8张卡上评测,这样如何实现呢? 类似我如果设定为模型type为HF的话,会自动达到这种效果。 image image