ruotianluo
commented
9 months ago 可能是因为加载的模型不是用的vilbert的featureRuotian LuoOn Oct 21, 2023, at 9:26 AM, yxyz @.***> wrote: 老师您好！ 在您提供colab样例代码的基础上，我尝试了加载别的模型（比如transformer+self_critical）时候的模型配置及其权重，然后尝试描述图片，发现没有顺利描述上。请问在更换加载的模型后，是否有哪里的逻辑代码还需要改写呢？ 这是vilbert是的图像描述：
但是用transformer+self_critical训练好的权重和配置文件载入后，图像描述的效果确实这样的：
可以请教一下老师，这是不是还需要在colab的代码的其它地方进行调整呢？
—Reply to this email directly, view it on GitHub, or unsubscribe.You are receiving this because you are subscribed to this thread.Message ID: @.***>
老师您好！
在您提供colab样例代码的基础上，我尝试了加载别的模型（比如transformer+self_critical）时候的模型配置及其权重，然后尝试描述图片，发现没有顺利描述上。请问在更换加载的模型后，是否有哪里的逻辑代码还需要改写呢？
这是vilbert时的图像描述，此时一切正常：
但是用transformer+selfcritical训练好的权重和配置文件载入后，图像描述的效果却是这样的： 
可以请教一下老师，这是不是还需要在colab的代码的其它地方进行调整呢？