search

X-PLUG / mPLUG-Owl

mPLUG-Owl: The Powerful Multi-modal Large Language Model Family
https://www.modelscope.cn/studios/damo/mPLUG-Owl
MIT License
2.33k stars 176 forks source link

Owl2中使用的Vit-H-16是从哪个版本初始化的？ #218

Open OpenJarvisAI opened 7 months ago

OpenJarvisAI commented 7 months ago

Owl2中使用的Vit-H-16是从哪个版本初始化的？ 可以分享一下这个vit的初始版本权重吗

vateye commented 7 months ago

Owl2 是用OpenAI CLIP-L/224初始化的 Owl2.1 的ViT-H-16是用OpenCLIP的权重初始化的

OpenJarvisAI commented 7 months ago

可以发一下原始的vit-h-16的连接吗，想看看是哪个版本。

顺便问一下，初始化之后，分别在哪个阶段微调了这个vit，以及输入尺寸是如何增大的呢