search

Ucas-HaoranWei / Vary

[ECCV2024] Official code implementation of Vary: Scaling Up the Vision Vocabulary of Large Vision Language Models.
1.65k stars 150 forks source link

Vary Tiny无法复现，官方代码无法训练 #89

Closed lucasjinreal closed 3 months ago

lucasjinreal commented 3 months ago

之前一直用的llava架构更改，无法复现，想跑一下官方代码看看哪里没有对齐，结果：

image

遇到了些许问题，作者可以帮忙看看吗？

Ucas-HaoranWei commented 3 months ago

当前这套代码是基于内部的名叫“mmgpt”的项目重构的，只测试过inference，不排除train有bug，我有空查一下

lucasjinreal commented 3 months ago

社区应该有人提出过训练的问题了，应该是跟max length 和 tokenizer里面某些长度没有对齐导致的，有空麻烦看看怎么才能训起来