代码中所有使用到模型的地方能否http外接模型实现

RUC-NLPIR / FlashRAG

⚡FlashRAG: A Python Toolkit for Efficient RAG Research

https://arxiv.org/abs/2405.13576

MIT License

1.17k stars 85 forks source link

Closed 962163445 closed 4 months ago

962163445 commented 4 months ago

流水线中各组件使用模型推理时，能否支持通过http接口方式对接外部模型？

ignorejjj commented 4 months ago

由于现有科研工作中这方面的需求较少，我们暂时计划在近期实现api-based的生成模型，其他外部模型暂时无法支持。