Closed noforit closed 8 months ago
我在评测时的模型type 为vllm,参数如下: 但是显卡占用只使用了一张卡来评测任务 我想让任务划分为几份分别在8张卡上评测,这样如何实现呢? 类似我如果设定为模型type为HF的话,会自动达到这种效果。
我在评测时的模型type 为vllm,参数如下: 但是显卡占用只使用了一张卡来评测任务 我想让任务划分为几份分别在8张卡上评测,这样如何实现呢? 类似我如果设定为模型type为HF的话,会自动达到这种效果。