代码问题

[959wang]

你好，我在运行代码的时候遇到了一点问题，这里有个depth=i,但这个i没有被定义过

[hkxiaodong]

depth = depth,或者把 depth = i 删了。 之前做参数分析设置了i可变，忘记改回去了。 重新上传了model.py 和 model_train.py

[959wang]

好的，非常感谢！

[Drew-youngking]

好的，非常感谢 你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

[959wang]

达不到，低了接近2个点

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: Drew-youngking @.> 发送时间: 2024年7月1日 19:54 收件人: hkxiaodong/BIT @.> 抄送: www @.>, Author @.> 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

好的，非常感谢 你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

[hkxiaodong]

好的，非常感谢 你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

虽然会因为机器差异对结果有影响，但是如果使用的是相同的训练集、测试集(所上传的训练集个测试集)相差应该不会很大。可以多跑几次！感谢！

[Drew-youngking]

谢谢作者!想请教下论文模型图的扩展向量K、V为什么不用前缀向量P ftk、P ftv和文本模态ft拼接，而是用P fik、P fiv图模态

------------------ 原始邮件 ------------------ 发件人: "hkxiaodong/BIT" @.>; 发送时间: 2024年7月1日(星期一) 晚上8:27 @.>; @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

好的，非常感谢 你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

虽然会因为机器差异对结果有影响，但是如果使用的是相同的训练集、测试集(所上传的训练集个测试集)相差应该不会很大。可以多跑几次！感谢！

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[hkxiaodong]

同学，你想问的是公式4和5吗？

---原始邮件--- 发件人: @.> 发送时间: 2024年7月2日(周二) 下午3:24 收件人: @.>; 抄送: @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

谢谢作者!想请教下论文模型图的扩展向量K、V为什么不用前缀向量P ftk、P ftv和文本模态ft拼接，而是用P fik、P fiv图模态

------------------ 原始邮件 ------------------ 发件人: "hkxiaodong/BIT" @.>; 发送时间: 2024年7月1日(星期一) 晚上8:27 @.>; @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

好的，非常感谢 你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

虽然会因为机器差异对结果有影响，但是如果使用的是相同的训练集、测试集(所上传的训练集个测试集)相差应该不会很大。可以多跑几次！感谢！

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

[Drew-youngking]

是的作者，扩展向量K和V

------------------ 原始邮件 ------------------ 发件人: "hkxiaodong/BIT" @.>; 发送时间: 2024年7月2日(星期二) 下午4:16 @.>; @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

同学，你想问的是公式4和5吗？

---原始邮件--- 发件人: @.> 发送时间: 2024年7月2日(周二) 下午3:24 收件人: @.>; 抄送: @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

谢谢作者!想请教下论文模型图的扩展向量K、V为什么不用前缀向量P ftk、P ftv和文本模态ft拼接，而是用P fik、P fiv图模态

------------------ 原始邮件 ------------------
发件人: "hkxiaodong/BIT" @.>;
发送时间: 2024年7月1日(星期一) 晚上8:27
@.>;
@.**@.>;
主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

好的，非常感谢
你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

虽然会因为机器差异对结果有影响，但是如果使用的是相同的训练集、测试集(所上传的训练集个测试集)相差应该不会很大。可以多跑几次！感谢！

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[hkxiaodong]

使用了交叉注意力作为图文的交互，例如图像支路，图像fi映射为Q，文本ft映射为图像支路所用的K,V。然后使用注意力方式即可得到图文的交互。 

CAi中，Q＝fi wqi(可记做Qi), 图像 K＝ft wki(记做Ki)，然后和图像K前缀p fik进行拼接得到 Kip，图像V＝ft wvi(记做Vi),然后和图像V前缀p fiv拼接得到 Kiv。 这样就得到了图像支路的QiKipVip。   同理，CAt也是一样的操作。

所以前缀p下面的i和t是用于区分属于图像支路或者文本支路的前缀。

---原始邮件--- 发件人: @.> 发送时间: 2024年7月2日(周二) 下午4:22 收件人: @.>; 抄送: @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

是的作者，扩展向量K和V

------------------ 原始邮件 ------------------ 发件人: "hkxiaodong/BIT" @.>; 发送时间: 2024年7月2日(星期二) 下午4:16 @.>; @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

同学，你想问的是公式4和5吗？

---原始邮件---
发件人: @.>
发送时间: 2024年7月2日(周二) 下午3:24
收件人: @.>;
抄送: @.**@.>;
主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

谢谢作者!想请教下论文模型图的扩展向量K、V为什么不用前缀向量P ftk、P ftv和文本模态ft拼接，而是用P fik、P fiv图模态

------------------ 原始邮件 ------------------
发件人: "hkxiaodong/BIT" @.>;
发送时间: 2024年7月1日(星期一) 晚上8:27
@.>;
@.**@.>;
主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

好的，非常感谢
你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

虽然会因为机器差异对结果有影响，但是如果使用的是相同的训练集、测试集(所上传的训练集个测试集)相差应该不会很大。可以多跑几次！感谢！

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

[hkxiaodong]

CAi用于建模 图像和文本 的交叉注意力，这个交互过程以图像为主导。因为求完注意力后还会和图像fi进行想加，就等于把权重映射到图像特征fi中。

CAt用于建模 文本和图像 的交叉注意力，这个过程以文本为主导。

对应的前缀用于传达后向图像和文本交互中的交互信息。前缀通过拼接的方式把信息囊括在K V中，帮助建模图文前向交互。

---原始邮件--- 发件人: @.> 发送时间: 2024年7月2日(周二) 下午4:22 收件人: @.>; 抄送: @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

是的作者，扩展向量K和V

------------------ 原始邮件 ------------------ 发件人: "hkxiaodong/BIT" @.>; 发送时间: 2024年7月2日(星期二) 下午4:16 @.>; @.**@.>; 主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

同学，你想问的是公式4和5吗？

---原始邮件---
发件人: @.>
发送时间: 2024年7月2日(周二) 下午3:24
收件人: @.>;
抄送: @.**@.>;
主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

谢谢作者!想请教下论文模型图的扩展向量K、V为什么不用前缀向量P ftk、P ftv和文本模态ft拼接，而是用P fik、P fiv图模态

------------------ 原始邮件 ------------------
发件人: "hkxiaodong/BIT" @.>;
发送时间: 2024年7月1日(星期一) 晚上8:27
@.>;
@.**@.>;
主题: Re: [hkxiaodong/BIT] 代码问题 (Issue #1)

好的，非常感谢
你好同学，请问你复现后的Acc_Avg准确率能达到原文效果吗

虽然会因为机器差异对结果有影响，但是如果使用的是相同的训练集、测试集(所上传的训练集个测试集)相差应该不会很大。可以多跑几次！感谢！

—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
—
Reply to this email directly, view it on GitHub, or unsubscribe.
You are receiving this because you commented.Message ID: @.>
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>