Open Huyueeer opened 7 months ago
关于部署: 1、embedding和reranker模型都可以在服务器部署,然后用户端访问算法服务api。 2、如果图简单省事,可以用BCEmbedding来推理,因为提前写好了很多处理逻辑,直接使用就行,效率和sentence-transformers和transformers应该不会有太大区别。如果要想做高性能服务,建议使用faster-transformer,tensorrt或onnx-runtime等框架。 3、embedding和reranker两个尽量都用gpu,cpu也能跑(device='cpu'),但cpu会比较慢。
感谢您的回复,了解了
关于部署: 1、embedding和reranker模型都可以在服务器部署,然后用户端访问算法服务api。 2、如果图简单省事,可以用BCEmbedding来推理,因为提前写好了很多处理逻辑,直接使用就行,效率和sentence-transformers和transformers应该不会有太大区别。如果要想做高性能服务,建议使用faster-transformer,tensorrt或onnx-runtime等框架。 3、embedding和reranker两个尽量都用gpu,cpu也能跑(device='cpu'),但cpu会比较慢。
要多大GPU显存才可以? 8G可以吗? 笔记本显卡可以跑起来吗
关于部署: 1、embedding和reranker模型都可以在服务器部署,然后用户端访问算法服务api。 2、如果图简单省事,可以用BCEmbedding来推理,因为提前写好了很多处理逻辑,直接使用就行,效率和sentence-transformers和transformers应该不会有太大区别。如果要想做高性能服务,建议使用faster-transformer,tensorrt或onnx-runtime等框架。 3、embedding和reranker两个尽量都用gpu,cpu也能跑(device='cpu'),但cpu会比较慢。
要多大GPU显存才可以? 8G可以吗? 笔记本显卡可以跑起来吗
我在本地运行的时候Embedding模型,batch_size = 512的情况下占用大约6Gb显存。Reranker我没有做过本地实验,不是很清楚,但是技术报告中说它有一个cross-encoder结构,处理文本间信息,我感觉可能占用显存会更大一点。
embedding模型我可以理解使用SentenceTransformer的方式部署在服务器,使用API访问,rerank模型放在本地应用中可行吗?需要GPU资源吗?对这部分有点疑问