search

zhixiongz / CLIP4CMR

A Comprehensive Empirical Study of Vision-Language Pre-trained Model for Supervised Cross-Modal Retrieval
41 stars 3 forks source link

您好，关于anchor #2

Open pigPower opened 2 years ago

pigPower commented 2 years ago

您好，想问一下这篇文章中anchor的计算方法和PAN中的prototype计算方法是相似的吗？可否开源PAN那篇论文的代码呢？十分感谢您！

zhixiongz commented 2 years ago

您好，

感谢您的关注。首先在成对学习中的anchor是一次对文本和图像采样，然后基于anchor采集正负样本，可以参考metrics.py中的contrastive_loss。其次在成类损失中，anchor是参数化的class proxy，通常这是一个和feature维度相同的向量，他和PAN中的prototype是一样的。PAN的代码可以在中科院云盘中下载，请访问here.

祝好， 志雄

FutureTwT commented 2 years ago

您好，PAN的代码链接似乎失效了，请问可以更新一下么

zhixiongz commented 2 years ago

请访问here

祝好， 志雄

FutureTwT commented 2 years ago

十分感谢您提供的代码，请问一下方便提供一下PAN的数据么

zhixiongz commented 2 years ago

您好，

分享文件：benchmark[文件夹] 网盘链接：https://pan.cstcloud.cn/s/udXChJOgTQI 过期时间：2022-03-18 15:28:29

数据集包含了Wikipedia，Pascal-Sentence和NUS-WIDE的原始数据，XmediaNet的数据集的图片较大（200G），因此上传不了，我跟你提供了一个我当时下载图片的爬虫get_img_by_url.py，url需要你向原作者的实验室填写申请表。

祝好， 志雄

FutureTwT commented 2 years ago

十分感谢

Junyanzhang commented 1 year ago

您好，PAN的代码和数据集链接似乎失效了，请问可以更新一下么

SongWhizz commented 3 months ago

您好，PAN的代码链接失效了，请问可以麻烦您再更新一下么