关于远程API调用的问题

RUC-NLPIR / FlashRAG

⚡FlashRAG: A Python Toolkit for Efficient RAG Research

https://arxiv.org/abs/2405.13576

MIT License

1.11k stars 83 forks source link

Open Beyond0831 opened 3 weeks ago

Beyond0831 commented 3 weeks ago

目前我浏览了与例子相关的代码，想请问是否目前提供的代码只实现了调用本地模型的功能（通过transformer库）？也就是说如果我想使用远程调用的方式，需要重构generator以及相关模型调用的代码，还是说我遗漏了没有找到api调用相关的代码。

ignorejjj commented 3 weeks ago

目前支持openai形式的接口的调用，但是还没有补充相关文档。可以参考basic_config.yaml里面的相关设置，具体设置可以参考:

framework: openai
generator_model: gpt-4o
openai_setting:
    api_key: "YOUR-API-KEY"

设置完成后就会自动加载api模型作为generator。