search

InternLM / lagent

A lightweight framework for building LLM-based agents
Apache License 2.0
1.87k stars 198 forks source link

lagent的API服务？ #222

Closed RyanOvO closed 3 months ago

RyanOvO commented 3 months ago

问题： 目前看examples，已提供了cli、web两种方式，同时支持hf和lmdeploy两种引擎。那么API的支持如何实现呢？背景及问题如下：

  1. 基于lmdeploy已部署了internlm2.5的chat模型，对于提供了API接口。
  2. 那么如何将lagent的react能力集成到上述的API接口中，并以标准OpenAI风格的API格式提供给外部调用，最后达到lagent提供的web示例的react效果？

简述为，是否可以提供一下基于lmdeploy，集成lagent功能的API接口？ 感谢解答。

Harold-lkk commented 3 months ago

Lagent 暂时还没有提供一个封装成API 的接口，不过这个可以很容易的实现，我们因为近期会对 Lagent 有一些变动，一些新的功能还没有释放出来，如果想要一个 API 可以参考https://github.com/InternLM/MindSearch/blob/main/mindsearch/app.py 很容易实现