leochen-g / wechat-assistant-pro

智能微秘书,一个全能的微信机器人管理平台,最简单的方式接入 ChatGPT,FastGPT,Dify,Coze知识库,支持绘图,联网查询,语音识别,各种定时任务,支持企微、公众号、5G 消息、WhatsApp
https://wechat.aibotk.com
MIT License
1.71k stars 276 forks source link

使用 Dify 进行识图 #71

Open leochen-g opened 3 months ago

leochen-g commented 3 months ago

使用GPT-4V来实现图像识别

必要条件

1、智能微秘书平台会员

2、你有一个含gpt4权限的token

开启方式

GPT对话配置->自定义对话->添加配置

相关问题

1、Dify和FastGPT是否支持视图功能 ?

目前这两个平台只有界面上提供文件上传功能,api接口暂未支持或者兼容GPT-4V识图功能。后续兼容会第一时间适配

2、开启识图后怎么继续使用FastGPT或者Dify

目前开启识图的群组或好友只能走chatGPT对话模式,后续会添加一个仅开启识图功能开关。

实现效果

mengdahuang commented 2 months ago

请问gpt-4o可以支持吗?我试了下默认不行

leochen-g commented 1 month ago

请问gpt-4o可以支持吗?我试了下默认不行

目前不能使用gpt-4o进行识图

JiangYain commented 3 weeks ago

2024-08-05 05:51:51 - dify request http://124.xxx.2.xxx/v1/chat-messages { data: { inputs: { uid: '@706a9239b9f0c8ee7b407c9159ef1e08df592a9091955e694e4ced69f4b859a9', ualias: '一拳', uname: 'NO', roomId: '@@021e66af7343fc5e3d82a05e930c7549472bb399d521016b95744e1ae5b0cac0', roomName: '上分小队' }, query: '「NO:[图片]」\n- - - - - - - - - - - - - - -\n 讲讲这个内容', user: '@@021e66af7343fc5e3d82a05e930c7549472bb399d521016b95744e1ae5b0cac0_@706a9239b9f0c8ee7b407c9159ef1e08df592a9091955e694e4ced69f4b859a9', response_mode: 'blocking', files: null }, headers: { Authorization: 'Bearer app-xxxxxxxxxx', 'Content-Type': 'application/json' }, params: undefined }

在引用图片并@小助手的情况下,如果图片可以转换成URL填入files就可以实现识别?(思考.jpg)