search

OFA-Sys / Chinese-CLIP

Chinese version of CLIP which achieves Chinese cross-modal retrieval and representation generation.
MIT License
4.21k stars 439 forks source link

请问在chinese-clip获取到图文特征json数据后，如何在clip-retrieval使用呢，想搭建自己的demo #273

Open IF-chan opened 5 months ago

yangapku commented 5 months ago

可以参考clip-retrieval官方repo的流程哈，我们也是完全follow它来的

IF-chan commented 5 months ago

clip-retrieval里面都是使用embeddings（嵌入向量），那我获取的json数据如何使用呢 还有就是怎么使用finetune后的模型

最近有这方面的需求

ChesonHuang commented 4 months ago

请问搞定了吗，这两天我也在弄这个

IF-chan commented 4 months ago

请问搞定了吗，这两天我也在弄这个

目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference 如果你弄出来了了什么的麻烦告诉我

ChesonHuang commented 4 months ago

请问搞定了吗，这两天我也在弄这个

目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference 如果你弄出来了了什么的麻烦告诉我

提了个 pr , 原因是all_clip并不支持chinese clip, 因为state_dict参数不相同，你也可以参考此 pr 本地修改https://github.com/data2ml/all-clip/pull/27

IF-chan commented 4 months ago

请问搞定了吗，这两天我也在弄这个

目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference 如果你弄出来了了什么的麻烦告诉我

提了个 pr , 原因是all_clip并不支持chinese clip, 因为state_dict参数不相同，你也可以参考此 pr 本地修改data2ml/all-clip#27

all_clip这个是能让clip-retrieval直接加载chinese模型是吧，需要做什么额外的步骤嘛

ChesonHuang commented 4 months ago

请问搞定了吗，这两天我也在弄这个

目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference 如果你弄出来了了什么的麻烦告诉我

提了个 pr , 原因是all_clip并不支持chinese clip, 因为state_dict参数不相同，你也可以参考此 pr 本地修改data2ml/all-clip#27

all_clip这个是能让clip-retrieval直接加载chinese模型是吧，需要做什么额外的步骤嘛

clip-retrieval底层是用load_clip这个函数自动加载模型的，而Load_clip这个函数在all_clip模块下，且不支持chinese-clip，你只要按步骤加上chinese-clip的支持就行，目前我已经完全跑通了

IF-chan commented 4 months ago

请问搞定了吗，这两天我也在弄这个

目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference 如果你弄出来了了什么的麻烦告诉我

提了个 pr , 原因是all_clip并不支持chinese clip, 因为state_dict参数不相同，你也可以参考此 pr 本地修改data2ml/all-clip#27

all_clip这个是能让clip-retrieval直接加载chinese模型是吧，需要做什么额外的步骤嘛

clip-retrieval底层是用load_clip这个函数自动加载模型的，而Load_clip这个函数在all_clip模块下，且不支持chinese-clip，你只要按步骤加上chinese-clip的支持就行，目前我已经完全跑通了

感谢已经跑通了

JingMo commented 2 weeks ago

clip-retrieval里面都是使用embeddings（嵌入向量），那我获取的json数据如何使用呢 还有就是怎么使用finetune后的模型

最近有这方面的需求

您好，问下这个“clip-retrieval里面都是使用embeddings（嵌入向量），那我获取的json数据如何使用呢”，是怎么解决的？ 提取的图文特征json数据，应该怎么配合clip-retrieval使用？感谢

Mileber commented 2 weeks ago

Recieved, thanks.收到邮件啦~谢谢！

JingMo commented 2 weeks ago

请问搞定了吗，这两天我也在弄这个

目前看是微调好模型后用那个.pt文件去在clip-retrieval中进行inference 如果你弄出来了了什么的麻烦告诉我

提了个 pr , 原因是all_clip并不支持chinese clip, 因为state_dict参数不相同，你也可以参考此 pr 本地修改data2ml/all-clip#27

all_clip这个是能让clip-retrieval直接加载chinese模型是吧，需要做什么额外的步骤嘛

clip-retrieval底层是用load_clip这个函数自动加载模型的，而Load_clip这个函数在all_clip模块下，且不支持chinese-clip，你只要按步骤加上chinese-clip的支持就行，目前我已经完全跑通了

请教下，修改完支持chinese-clip后，之后怎么跑通整个流程？最近刚了解，望指教一下，感谢