search

chn-lee-yumi / MaterialSearch

AI语义搜索本地素材。以图搜图、查找本地素材、根据文字描述匹配画面、视频帧搜索、根据画面描述搜索视频。Semantic search. Search local photos and videos through natural language.
GNU General Public License v3.0
799 stars 110 forks source link

特征提取有什么推荐的其他方法吗？ #26

Closed babyta closed 1 year ago

babyta commented 1 year ago

现在用是clip，请问一下，有其他的文本，图像提特征方法吗，可能觉得512维度特征不够用。谢谢。

chn-lee-yumi commented 1 year ago

可以参考：https://paperswithcode.com/task/image-to-text-retrieval

babyta commented 1 year ago

谢谢！

babyta commented 12 months ago

你好我想问下clip这个不需要对图像进行统一缩放吗？

chn-lee-yumi commented 12 months ago

你好我想问下clip这个不需要对图像进行统一缩放吗？

不需要自己操作

chn-lee-yumi commented 12 months ago

CLIPImageProcessor对图像进行处理的过程中会进行缩放：https://huggingface.co/docs/transformers/v4.33.3/en/model_doc/clip#transformers.CLIPImageProcessor

图像的短边会被缩放到224px，长边等比例缩放，然后对中心区域进行裁剪，得到224x224大小的图片，再丢给模型处理。