Vary复现交流群 - Githubissues

Ucas-HaoranWei / Vary

[ECCV2024] Official code implementation of Vary: Scaling Up the Vision Vocabulary of Large Vision Language Models.

1.65k stars 150 forks source link

Vary复现交流群 #88

Open StarCycle opened 3 months ago

StarCycle commented 3 months ago

大家复现的时候遇到问题一起讨论呀，如果作者@Ucas-HaoranWei 有空的话也麻烦在群里直接解答orz

@xudou3 @lucasjinreal @41passerby @Yirzzzz @NNNNAI @luohao123 @samaritan1998 @DongyangLiu @duchenzhuang

Ucas-HaoranWei commented 3 months ago

我想知道大家想复现vary-tiny的目的，因为这个也开源了，是想scale-up吗（比方说用上sam-l/h）?

luohao123 commented 3 months ago

代码跑不起来，遇到的问题比较多，作者大大可否帮大家解答一下，例如opt125m 最大长度是2048， 4096怎么训的，SAM权重加载为什么有注释掉的几行，意义是什么？

lixumin-zai commented 3 months ago

群还有吗，过期了

liqingxi1011 commented 3 months ago

想进群

luohao123 commented 3 months ago

Sorry，这个repo里面有人声称能复现Vary，我至今没有看到声称能从0复现Vary的加群或者分享哪怕一丁点失败的经验，这个repo本身毫无疑问是不可能从0复现的。

大家可以扫新码，我尝试了SAM+opt SAM+qwen Convnext+opt Convnext+Qwen 目前这个codebase什么东西都学不到。。

抱团取暖吧，这论文的可疑性越来越重了，作者又不愿意多回答一句大家伙的问题，这当中弄错了什么关键信息完全不知道，这不是一个学术交流应该有的，抱团取暖吧。

Ucas-HaoranWei commented 3 months ago

不用怀疑，难道我的weights是手算的吗，我最开始训练work的backbone是resnet50。给大家提醒下，如果有人想从0训练Vary-tiny： 1.我上周就说huggingface的transformers多ep loss降的不对，需要自己写trainer，不管什么codebase（包括llava那套），只要用huggingface的trainer训练都不要超过一个ep。这一点同组同学在视频理解和生成任务也得到验证 2.如果大家不想自己写codebase或者trainer，耐心等我写完开源，这个项目只有我一个人维护，不要催

Ucas-HaoranWei commented 2 months ago

transformers库貌似可以通过数据*n遍，来替代多个ep收敛 https://github.com/Ucas-HaoranWei/Vary-toy/issues/30#issuecomment-2050877639

luohao123 commented 2 months ago

你好，有个疑问，*n 本质上是增大了训练时间，只是在lr策略上保持一个epoch的策略，这是因为cosine 的lr配置的有问题吗？

Ucas-HaoranWei commented 2 months ago

感觉很有可能，但是n和n倍不同的数据量应该还是不同，n除了增大训练时间，还模拟了模型见n遍相同的数据