search

THUDM / CogCoM

Other
138 stars 9 forks source link

构造数据集的时候 可以使用glm4代替gpt4吗 #13

Open Guodashen222 opened 3 months ago

qijimrc commented 3 months ago

我们早期对比了ChatGLM-3和GPT4，实验发现后者效果更好。不过目前针对Question描述比较清楚的VQA数据，我们认为可以使用GLM4生成文本推理步骤。

terryII commented 2 months ago

我注意到在cogcom/data/tools/gpt4.py中调用的模型api为gpt-3.5-turbo而不是gpt4，考虑到api的费用问题，是不是可以用gpt-3.5-turbo生成的com数据就能达到较为理想的效果？ @qijimrc

qijimrc commented 2 months ago

我注意到在cogcom/data/tools/gpt4.py中调用的模型api为gpt-3.5-turbo而不是gpt4，考虑到api的费用问题，是不是可以用gpt-3.5-turbo生成的com数据就能达到较为理想的效果？ @qijimrc

Hi terry, 针对问题描述较为清楚的VQA数据，采用gpt-3.5-turbo也能获得较多的positive chains（我们测试GPT4生成positive chains的占比在35%左右，可以作为对比）。