search

wxywb / history_rag

841 stars 109 forks source link

如何使用本地的模型权重接入？ #46

Open fsyfb opened 7 months ago

fsyfb commented 7 months ago

如果不想使用在线的大模型api，使用本地的模型如qwen7b等接入该程序，有什么建议吗

wxywb commented 7 months ago

1.先确认llamaindex是否支持你的模型，如果支持，在executor里把LLM换成你用的LLM就可以 2.不支持你用的模型，你把你的大模型使用fastapi或者flask写成一个api服务，仿照https://github.com/wxywb/history_rag/blob/master/custom/llms/QwenLLM.py 写一个client连上