search

IDEA-Research / Grounded-Segment-Anything

Grounded SAM: Marrying Grounding DINO with Segment Anything & Stable Diffusion & Recognize Anything - Automatically Detect , Segment and Generate Anything
https://arxiv.org/abs/2401.14159
Apache License 2.0
14.69k stars 1.36k forks source link

grounding dino如何进行零样本迁移？ #31

Open iPengXPro opened 1 year ago

iPengXPro commented 1 year ago

例如我要检测电路板中的电容电阻等电子元器件，现有模型在输入“register” promot后，无法识别出电阻，我应该如何进行微调呢？恳请大佬们不吝赐教！

tuofeilunhifi commented 1 year ago

可以用huggingface的peft代码库进行下游任务微调

iPengXPro commented 1 year ago

可以用huggingface的peft代码库进行下游任务微调

感谢大佬的回复，打开了一扇新的大门。今天研究了一天peft，看了其中的一些sample，那像这种微调的情况，数据集应该如何构建呢？

tuofeilunhifi commented 1 year ago

可以用huggingface的peft代码库进行下游任务微调

感谢大佬的回复，打开了一扇新的大门。今天研究了一天peft，看了其中的一些sample，那像这种微调的情况，数据集应该如何构建呢？

就跟原来标注检测的数据集一样，类别就是prompt，这里要挑选一下合适的peft方法，微调后就可以把大模型的能力用上

iPengXPro commented 1 year ago

可以用huggingface的peft代码库进行下游任务微调

感谢大佬的回复，打开了一扇新的大门。今天研究了一天peft，看了其中的一些sample，那像这种微调的情况，数据集应该如何构建呢？

就跟原来标注检测的数据集一样，peft微调后就可以把大模型的能力用上

好的，感谢您的指导。我去试一下

uuu686 commented 1 year ago

@iPengXPro 您好，请问可以指导一下微调这部分的工作吗，我对这部分没接触过，没法入手

iPengXPro commented 1 year ago

@uuu686 @uuu686 哎呀惭愧惭愧，我中道崩殂了，研究了三天没搞定，后续没有继续往下了。前面大佬提到的你可以去看看里面的sample https://github.com/huggingface/peft

uuu686 commented 1 year ago

@uuu686 @uuu686 哎呀惭愧惭愧，我中道崩殂了，研究了三天没搞定，后续没有继续往下了。前面大佬提到的你可以去看看里面的sample https://github.com/huggingface/peft

好的，感谢感谢

SoulProficiency commented 6 months ago

@uuu686 @uuu686 哎呀惭愧惭愧，我中道崩殂了，研究了三天没搞定，后续没有继续往下了。前面大佬提到的你可以去看看里面的sample https://github.com/huggingface/peft

好的，感谢感谢

请问解决了吗