Closed LiqunW closed 8 months ago
您好，请教一下，我想用clip来微调一个分类任务。 实验使用了cifar-10构建了一个数据集。text为类别的中文名称，一共有5w的训练集和1w的验证集。 json中的样例如下 {"text_id":2, "text":"鸟","image_ids":[0]} {"text_id":1, "text":"汽车","image_ids":[4001]} 数据转换过程和训练过程没有报错。 训练过程中，loss只有第一个epoch下降，后续一直震荡。且在训练集和验证集上准确率都很低，低于zero-shot的效果。 请问下这可能是什么问题？
这个是怎么解决的哈
xxllp
commented
5 months ago xxllp
commented
5 months ago
您好，请教一下，我想用clip来微调一个分类任务。 实验使用了cifar-10构建了一个数据集。text为类别的中文名称，一共有5w的训练集和1w的验证集。 json中的样例如下 {"text_id":2, "text":"鸟","image_ids":[0]} {"text_id":1, "text":"汽车","image_ids":[4001]} 数据转换过程和训练过程没有报错。 训练过程中，loss只有第一个epoch下降，后续一直震荡。且在训练集和验证集上准确率都很低，低于zero-shot的效果。 请问下这可能是什么问题？