请在文档中说明2.0系统中，如何自定义调用外部embedding和reranker模型

netease-youdao / QAnything

Question and Answer based on Anything.

https://qanything.ai

GNU Affero General Public License v3.0

11.88k stars 1.15k forks source link

请在文档中说明2.0系统中，如何自定义调用外部embedding和reranker模型 #504

Open gjfmlj opened 2 months ago

gjfmlj commented 2 months ago

请在文档中说明2.0系统中， 1.如何自定义调用外部embedding和reranker模型。 2.如何在本地gpu运行embedding和reranker模型。

fjzuser commented 2 months ago

确实应该说明下啊，不然没法正常用

Vastzhang97 commented 2 months ago

同问，这两个应该提供外部调用方法。谢谢！

MI-Class commented 2 months ago

在QAnything/scripts/entrypoint.sh文件里启动rerank_server和启动embedding_server的部分，加上参数 --use_gpu 就是在gpu运行，在QAnything/qanything_kernel/configs/model_config.py文件修改LOCAL_EMBED_SERVICE_URL和LOCAL_RERANK_SERVICE_URL的值就可以使用外部模型，单纯从代码看出来的，对不对没有验证，可以试试

gjfmlj commented 1 month ago

在QAnything/scripts/entrypoint.sh文件里启动rerank_server和启动embedding_server的部分，加上参数 --use_gpu 就是在gpu运行，在QAnything/qanything_kernel/configs/model_config.py文件修改LOCAL_EMBED_SERVICE_URL和LOCAL_RERANK_SERVICE_URL的值就可以使用外部模型，单纯从代码看出来的，对不对没有验证，可以试试

无效