BAAI/bge-reranker-v2.5-gemma2-lightweight 需要多少G的显存才能跑起来？

FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs

MIT License

7.46k stars 536 forks source link

Open Hkaisense opened 2 months ago

Hkaisense commented 2 months ago

3090报内存不够？有大师试过吗？

545999961 commented 2 months ago

全量大概需要30G左右的GPU memory 可以在加载AutoModelForCausalLM.from_pretrained的时候引入参数torch_dtype=torch.float16，这样大概需要11G的GPU memory就可以加载了

ycjcl868 commented 2 months ago

A100 试了下没问题