opensumi / core

🚀 A framework helps you quickly build AI Native IDE products. https://preview.opensumi.com
https://opensumi.com
MIT License
2.81k stars 354 forks source link

[Question] 集成 AI Native 模块不符合预期的行为与问题 #3812

Closed Moskize91 closed 2 weeks ago

Moskize91 commented 3 weeks ago

我现在在为我的团队接入 AI 模块,我已经读完了 https://opensumi.com/zh/docs/integrate/module-usage/ai-native-module 这篇文档,但依旧有一些问题。

service 是否需要接入第三方 AI 平台?

经过阅读文档,我参考了 ai.back.service.ts 的实现。我注意到这里:

https://github.com/opensumi/core/blob/84252e2d5e872e08b00b89097eb8ea21e97ae36b/packages/startup/entry/sample-modules/ai-native/ai.back.service.ts#L20C1-L43C3

似乎在返回一个固定值,而不是真实 AI 返回的内容。这里需要我自行对接第三方 AI 吗?

Contribution 如何配置?

我注意到文档中提及 https://opensumi.com/zh/docs/integrate/module-usage/ai-native-module#iainativecapabilities 这些配置如何配置到 Contribution 中?demo 和文档中似乎没有提及。

是否有文档简述 AI 的通讯原理

我比较困惑的是,browser 发起请求后,service 是如何处理的?是否都传递到了 requestrequestStream,如果是这样,那么 server 如何知道是 browser 那种服务,已经这些参数是来自于哪?

能否有文档简述每一个服务提取的用户输入,以及如何填写 prompt ?

我如何知道 browser 中的 AI 读取了用户的哪些信息,我应该如何拼凑 prompt 发给我对接的 AI?

Ricbet commented 3 weeks ago

1. service 是否需要接入第三方 AI 平台? 是的,opensumi 本身并没有内置大模型, 这个文件里的实现只是一个简单实现,用于模拟第三方 AI 的接口交互。 要想真正对接第三方 AI 服务可以在这个方法里实现https://github.com/opensumi/core/blob/84252e2d5e872e08b00b89097eb8ea21e97ae36b/packages/startup/entry/sample-modules/ai-native/ai.back.service.ts#L73 input : 就是 prompt,这个 prompt 通常来自 chat 对话的用户输入内容,或者是来自你前端主动调用该后端方法时传递的 prompt 内容

2. Contribution 如何配置? 这里其实就是 AppConfig 里的配置 https://opensumi.com/zh/docs/integrate/universal-integrate-case/custom-config#%E6%B5%8F%E8%A7%88%E5%99%A8%E7%AB%AF%E9%85%8D%E7%BD%AE 后续这块文档内容我优化一下

3. 是否有文档简述 AI 的通讯原理 通信这块我们进行了重构改造,详细内容可以看一下这篇文章 https://mp.weixin.qq.com/s/emarGEIGJXXOiYSGXTfd-w#:~:text=%E9%80%9A%E4%BF%A1%E5%8D%8F%E8%AE%AE%E5%8D%87%E7%BA%A7%20%2D%20OpenSumi%20RPC 简单来说就是通过 RPC 的方式让前端很方便的通过函数调用到后端服务的方法。

4. 能否有文档简述每一个服务提取的用户输入,以及如何填写 prompt ? 目前除了 AI 补全以外,其他 AI 功能并没有主动读取更多额外的用户信息,prompt 的拼凑需要你自己去对接,例如这个例子 https://github.com/opensumi/core/blob/main/packages/startup/entry/sample-modules/ai-native/ai-native.contribution.ts#L154

Moskize91 commented 2 weeks ago

我了解怎么做了,非常感谢🙏