为什么算出来的clip score是大于1的呢？求解答求解答，谢谢~

Taited / clip-score

Quick scripts to calculate CLIP text-image similarity

Apache License 2.0

187 stars 15 forks source link

为什么算出来的clip score是大于1的呢？求解答求解答，谢谢~ #1

Closed Sophia-615 closed 8 months ago

Taited commented 8 months ago

你好呀, 感谢对这个项目的关注. 请问能不能提供一个你用来测试的数据呢? 我可以尝试复现一下你的问题.

Sophia-615 commented 8 months ago

您好！谢谢您及时的回复，我的问题目前还没有得到解决。我感觉似乎不是测试数据的问题，因为我看到同样有人也是得出了31左右的clip score，如下图所示：，我想是不是可能是少做了什么操作导致的？

Taited commented 8 months ago

你好呀, 我查看了一下你的例子, clip score本质上是在计算feature之间的cosine similarity, 值域范围确实是不大于1的. 要注意这里的实现参考了OpenAI的CLIP, 实际上最后的结果乘了100. 所以最后CLIP Score计算下来范围在 0~100是合理的. 这样的CLIP Score呈现的方式在后面的学术论文中也是广为接受的, 比如OpenAI实现的Diffusion模型GLIDE中, 他们汇报的CLIP Score就是同样数量级的得分.

Sophia-615 commented 8 months ago

谢谢您的解答！我刚接触这一块不太清楚，所以我只需要在得出的结果上乘上0.01就是我实际计算出的相似度对吗，再次感谢您耐心的回复！

Taited commented 8 months ago

是你理解的这样, 如果没有别的问题我就先关闭这个issue啦