How to train a EViT-LVViT-S

youweiliang / evit

Python code for ICLR 2022 spotlight paper EViT: Expediting Vision Transformers via Token Reorganizations

Apache License 2.0

162 stars 19 forks source link

How to train a EViT-LVViT-S #13

Open Fanghaipeng opened 1 year ago

Fanghaipeng commented 1 year ago

我想训练一下EViT-LVViT-S，请问具体怎么实现？ 1.关于token蒸馏，只蒸馏最后留下的token，还是蒸馏全部的token呢？ 2.关于fuse token，需要蒸馏吗？

youweiliang commented 1 year ago

你好，对于EViT-LVViT-S

只需蒸馏最后留下的token
fuse token不需要蒸馏

我这周会上传EViT-LVViT的代码。谢谢！

andyoung009 commented 1 year ago

你好，对您的工作非常感兴趣。我想请教下，关于EViT-LVViT-S的训练与微调： 1、训练与微调时图片像素不一样，那么patches数量也不一样，那预训练模型如何用高像素图片微调呢？是采用了token fusion的策略吗？ 2、看有其他文章中也提到了低像素图像训练，高像素图像微调，这种处理方式一般采用什么方法去弥补patches数量不一致的gap呢？谢谢！