是否考虑增加使用多模态模型来实现看到图片的功能？

KroMiose / nonebot_plugin_naturel_gpt

一个基于NoneBot框架的Ai聊天插件，对接OpenAi文本生成接口，实现了机器人的人格自定义/切换，聊天记忆等功能

Apache License 2.0

469 stars 51 forks source link

Open F1Justin opened 5 months ago

F1Justin commented 5 months ago

如题

KroMiose commented 5 months ago

暂时没有相关计划，主要问题在选择让 bot "看"图片的时机，如果对经过的消息图片都进行先转文字势必产生巨大的成本，如果仅在bot需要回复时再处理则会严重拖慢响应时间，另外对于图片的文字化处理目前也未找到兼顾成本和效果的较好方案

F1Justin commented 5 months ago

我觉得也不用每张图片都需要处理，或许可以让bot看某张图的时候再处理（比如回复某张图的同时@bot）而且现在有很多模型支持传入图片，不需要考虑转成文字