finetune on my own open-vocabulary dataset

[Nathan-Li123]

I want to fine-tune on my own open-vocabulary dataset. Could you please advise me on how to do it specifically? Referring to the config file for fine-tuning on COCO, what modifications should I make?

[lvke9529]

看下对你是否有帮助：https://blog.csdn.net/ITdaka/article/details/139306984

[Nathan-Li123]

thanks

[wenqiuL]

@lvke9529 我跟着这个 博主的流程训练过了，但是存在的问题是无法保留zero-shot的能力，甚至完全遗忘。请问你解决了如何对自定义数据集进行微调如何保证开放词汇的效果吗？

[lvke9529]

@lvke9529 我跟着这个 博主的流程训练过了，但是存在的问题是无法保留zero-shot的能力，甚至完全遗忘。请问你解决了如何对自定义数据集进行微调如何保证开放词汇的效果吗？

在检测的时候降低阈值，比如0.0001这样，你试试，但是效果不是很好

[wenqiuL]

@lvke9529 非常感谢你！检测出来的图片终于不是原图了，但效果确实是微乎其微。请问你有尝试过以下两种方法或者其他方法进行改善这种问题吗？ 1、在COCO数据集中添加GQA数据集。 2、使用Prompt YOLO-World。

[LLH-Harward]

@lvke9529 我跟着这个 博主的流程训练过了，但是存在的问题是无法保留zero-shot的能力，甚至完全遗忘。请问你解决了如何对自定义数据集进行微调如何保证开放词汇的效果吗？

在检测的时候降低阈值，比如0.0001这样，你试试，但是效果不是很好

@lvke9529 您好 微调后检测出物体的置信度很低 请问有解决方法吗？