💡 [REQUEST] - <title>微调过后没有效果，有没有人知道，多少条数据会有效果

xuyiming010912 commented 1 month ago

起始日期 | Start Date

No response

实现PR | Implementation PR

No response

摘要 | Summary

训练过程中learning_rate一直不变

基本示例 | Basic Example

1

缺陷 | Drawbacks

1

未解决问题 | Unresolved questions

1

liuhuan-gl commented 1 month ago

Me too

KDD2018 commented 1 month ago

我在2400+对图文定位数据集上做基于Lora的微调，效果很差，完全找不到图片目标和文本得对应关系，我也试着调整--fix-vit参数，但也没用，效果依旧很差。有大佬知道如何应对吗？

elesun2018 commented 3 weeks ago

预训练模型用的哪个，应该是vl-chat 效果，数据量跟任务难度又有关系。主要还是看loss下降情况进行分析。

个人见解

xuyiming010912 commented 3 weeks ago

找到原因了，训练时候用错模型了，用的量化的，合并的时候跟chat的合并的，导致于一系列的错误，但是检测框精度不是很高，泛化能力不是很大

---- 回复的原邮件 ---- | 发件人 | @.> | | 日期 | 2024年06月13日 14:50 | | 收件人 | @.> | | 抄送至 | @.>@.> | | 主题 | Re: [QwenLM/Qwen-VL] 💡 [REQUEST] - 微调过后没有效果，有没有人知道，多少条数据会有效果 (Issue #396) |</p> <p>预训练模型用的哪个，应该是vl-chat 效果，数据量跟任务难度又有关系。主要还是看loss下降情况进行分析。</p> <p>个人见解</p> <p>— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: <strong><em>@</em></strong>.***></p> </div> </div> <div class="comment"> <div class="user"> <a rel="noreferrer nofollow" target="_blank" href="https://github.com/elesun2018"><img src="https://avatars.githubusercontent.com/u/37207093?v=4" />elesun2018</a> commented <strong> 3 weeks ago</strong> </div> <div class="markdown-body"> <p>我也正在摸索，可交流Q 294813364</p> </div> </div> <div class="comment"> <div class="user"> <a rel="noreferrer nofollow" target="_blank" href="https://github.com/xuyiming010912"><img src="https://avatars.githubusercontent.com/u/148192069?v=4" />xuyiming010912</a> commented <strong> 3 weeks ago</strong> </div> <div class="markdown-body"> <p>有微信吗？QQ不常用</p> <p>---- 回复的原邮件 ---- | 发件人 | <strong><em>@</em></strong>.<strong><em>> | | 日期 | 2024年06月13日 14:58 | | 收件人 | </em></strong>@<strong><em>.</em></strong>> | | 抄送至 | <strong><em>@</em></strong>.<strong><em>></em></strong>@<strong><em>.</em></strong>> | | 主题 | Re: [QwenLM/Qwen-VL] 💡 [REQUEST] - <title>微调过后没有效果，有没有人知道，多少条数据会有效果 (Issue #396) |</p> <p>我也正在摸索，可交流Q 294813364</p> <p>— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: <strong><em>@</em></strong>.***></p> </div> </div> <div class="comment"> <div class="user"> <a rel="noreferrer nofollow" target="_blank" href="https://github.com/elesun2018"><img src="https://avatars.githubusercontent.com/u/37207093?v=4" />elesun2018</a> commented <strong> 3 weeks ago</strong> </div> <div class="markdown-body"> <p>dcsun001</p> </div> </div> <div class="comment"> <div class="user"> <a rel="noreferrer nofollow" target="_blank" href="https://github.com/xuyiming010912"><img src="https://avatars.githubusercontent.com/u/148192069?v=4" />xuyiming010912</a> commented <strong> 3 weeks ago</strong> </div> <div class="markdown-body"> <p>好的，备注是徐一鸣</p> <p>---- 回复的原邮件 ---- | 发件人 | <strong><em>@</em></strong>.<strong><em>> | | 日期 | 2024年06月13日 15:03 | | 收件人 | </em></strong>@<strong><em>.</em></strong>> | | 抄送至 | <strong><em>@</em></strong>.<strong><em>></em></strong>@<strong><em>.</em></strong>> | | 主题 | Re: [QwenLM/Qwen-VL] 💡 [REQUEST] - <title>微调过后没有效果，有没有人知道，多少条数据会有效果 (Issue #396) |</p> <p>dcsun001</p> <p>— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: <strong><em>@</em></strong>.***></p> </div> </div> <div class="page-bar-simple"> </div> <div class="footer"> <ul class="body"> <li>© <script> document.write(new Date().getFullYear()) </script> Githubissues.</li> <li>Githubissues is a development platform for aggregating issues.</li> </ul> </div> <script src="https://cdn.jsdelivr.net/npm/jquery@3.5.1/dist/jquery.min.js"></script> <script src="/githubissues/assets/js.js"></script> <script src="/githubissues/assets/markdown.js"></script> <script src="https://cdn.jsdelivr.net/gh/highlightjs/cdn-release@11.4.0/build/highlight.min.js"></script> <script src="https://cdn.jsdelivr.net/gh/highlightjs/cdn-release@11.4.0/build/languages/go.min.js"></script> <script> hljs.highlightAll(); </script> </body> </html>

QwenLM / Qwen-VL