search

ChenDelong1999 / RemoteCLIP

🛰️ Official repository of paper "RemoteCLIP: A Vision Language Foundation Model for Remote Sensing" (IEEE TGRS)
https://arxiv.org/abs/2306.11029
Apache License 2.0
277 stars 18 forks source link

一图多caption的相似度矩阵计算干扰问题 #25

Closed YiguoHe closed 5 months ago

YiguoHe commented 6 months ago

您好，您的工作非常具有创新性，给caption生成带来了一套简单实用的方法，非常感谢你们的工作。 我有一个问题想要请教一下，当CLIP计算相似度矩阵的时候，一个图像有多个caption的话，矩阵计算的时候会将其他四个视为负样本，那么就会对结果造成干扰。请问你们是如何处理模型训练和验证过程中的“一图多文相互干扰”的问题的呢？谢谢！

rongtongxueya commented 3 months ago

same question.can give me some advice?

ranck626 commented 1 month ago

有解决吗？？