Closed cat-sun closed 5 months ago
qwen1.5-14b模型用一张80g的A100爆显存了,这个需要这么大的显存吗
可以尝试调小 topk, cache size(大于等于 topk), chunk size (例如2048/4096)
qwen1.5-14b模型用一张80g的A100爆显存了,这个需要这么大的显存吗