search

JinYuanLi0012 / PGIM

[EMNLP 2023 Findings] Prompting Chatgpt in MNER: Enhanced Multimodal Named Entity Recognition with Auxiliary Refined Knowledge
20 stars 0 forks source link

多模态部分是如何体现的 #6

Open sore-2001 opened 5 months ago

sore-2001 commented 5 months ago

论文原文中称使用UMT（2020）获取融合的多模态特征，但在开源代码中我并未找到对应模块。且训练所使用的数据集也是标注好的纯文本数据集。我可否理解为本方法将图像转化为文本再使用chatgpt增强表示后与原文本拼接来做的NER任务

xxxtsing commented 5 months ago

请问你有在运行第四步时显示 访问名为xlm-roberta-large的模型时出现了身份验证问题吗

sore-2001 commented 5 months ago

没有哈，论文原文中使用UMT作为多模态特征提取，我在代码中没找到。感觉本方法更多的是对数据集进行了操作

------------------ 原始邮件 ------------------ 发件人: "JinYuanLi0012/PGIM" @.>; 发送时间: 2024年5月9日(星期四) 下午5:29 @.>; @.**@.>; 主题: Re: [JinYuanLi0012/PGIM] 多模态部分是如何体现的 (Issue #6)

请问你有在运行第四步时显示 访问名为xlm-roberta-large的模型时出现了身份验证问题吗

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

JinYuanLi0012 commented 5 months ago

感谢关注，理解大致是正确的，也可以参考该问题https://github.com/JinYuanLi0012/PGIM/issues/8#issue-2326971776

hhy150 commented 4 months ago

话说在https://github.com/jefferyYu/UMT 中，没有给最后的模型权重，这个UMT部分是需要自己跑一遍训练出来UMT模型，然后取其中fusion module取得hidden来用嘛，不知道我的理解对不对。