Open caowenhero opened 1 year ago
运行报错,目前是不支持多卡运行吗?
支持多卡的,辛苦提供一下启动的相关的信息(启动方式、gpu配置以及什么模型等)。
是用docker compose启动的 gpu是NVIDIA GeForce RTX 2080 模型:glm-4-9b-chat text2vec-large-chinese vicuna-13b-v1.5
运行报错,目前是不支持多卡运行吗?