OFA-Sys / OFA

Official repository of OFA (ICML 2022). Paper: OFA: Unifying Architectures, Tasks, and Modalities Through a Simple Sequence-to-Sequence Learning Framework
Apache License 2.0
2.41k stars 248 forks source link

制作VQAencoder的注意力图 #383

Open JXH-2020 opened 1 year ago

JXH-2020 commented 1 year ago

您好,我这边在制作VQA注意力图的时候出现了问题,利用unify_multihead_attention.py中的attn_weights来画图,展现不了注意力的能力,如下图: 852d47c5cbd07275ce08b06b5787fc2

原图是: ceb6338596e128ab187de59d9fe9cc9

请问该如何获取VQA的注意力图,我思考了很久,尝试了不少方法,但得不到解决,希望您能抽空帮忙看看解决一下,提供教程。