search

FlagOpen / FlagEmbedding

Retrieval and Retrieval-augmented LLMs
MIT License
6.86k stars 495 forks source link

reranker-v2支持多大的长度呢 #578

Closed newfyu closed 6 months ago

newfyu commented 6 months ago

请问新版的reranker-v2支持多大的长度呢，看了下readme没查到

545999961 commented 6 months ago

一般推荐使用1024的长度进行推理 但模型本身支持更长的长度，具体可以参考基座模型所支持的长度 (https://huggingface.co/google/gemma-2b https://huggingface.co/openbmb/MiniCPM-2B-dpo-bf16 https://huggingface.co/BAAI/bge-m3)

newfyu commented 6 months ago

一般推荐使用1024的长度进行推理 但模型本身支持更长的长度，具体可以参考基座模型所支持的长度 (https://huggingface.co/google/gemma-2b https://huggingface.co/openbmb/MiniCPM-2B-dpo-bf16 https://huggingface.co/BAAI/bge-m3)

明白了，还有就是LLM-based reranker好像只使用了单个GPU推理，能否多GPU推理

545999961 commented 6 months ago

可以借助multiprocessing.Process，利用多进程进行多GPU推理

newfyu commented 6 months ago

好的，谢谢