Open Arkymeng opened 5 months ago
Location in document: Unknown
Selected HTML: 一般图像融合旨在整合多源图像的重要信息。然而,由于显着的跨任务差距,各自的融合机制在实践中差异很大,导致跨子任务的性能有限。为了解决这个问题,我们提出了一种用于一般图像融合的新颖的任务定制混合适配器(TC-MoA),在统一模型中自适应地提示各种融合任务。我们借鉴了专家混合体(MoE)的见解,将专家作为高效的调优适配器来提示预训练的基础模型。这些适配器在不同的任务之间共享,并受到互信息正则化的约束,确保与不同任务的兼容性,同时多源图像的互补性。任务特定路由网络定制这些适配器,以动态主导强度从不同来源提取任务特定信息,执行自适应视觉特征提示融合。值得注意的是,我们的 TC-MoA 控制了不同融合任务的主导强度偏差,成功地将多个融合任务统一在一个模型中。大量实验表明,TC-MoA 在学习共性方面优于竞争方法,同时保留了一般图像融合(多模态、多曝光和多焦点)的兼容性,并且在更多泛化实验中表现出惊人的可控性。代码可在https://github.com/YangSun22/TC-MoA获取。
Hello @Arkymeng, thanks for the issue report! We are reviewing your report and will address it as soon as possible.
Description
深色模式下字体颜色为黑色,严重影响阅读
(Optional:) Please add any files, screenshots, or other information here.
No response
(Required) What is this issue most closely related to? Select one.
Choose One
Internal issue ID
a19e4114-7e61-4ed4-b073-fa6185558af9
Paper URL
https://arxiv.org/html/2403.12494v2
Browser
Chrome/124.0.0.0
Device Type
Desktop