search

huawei-noah / Efficient-Computing

Efficient computing methods developed by Huawei Noah's Ark Lab
1.21k stars 211 forks source link

关于MAE预训练部分的代码在哪里？ #66

Closed arkerman closed 8 months ago

arkerman commented 1 year ago

你们对gold-yolo是怎么进行pretrain的？

kaka-Cao commented 1 year ago

他应该没有给MAE预训练的BACKBONE，只给了在COCO上最终训练好的权重，可以直接拿那个微调你的数据集，不过他的许多文件里好像导包都有错误，你发现这个问题了吗

arkerman commented 1 year ago

@kaka-Cao 我还没弄到本地运行，我只想看看他是怎么做的预训练部分的，因为我最近也在做同样的工作

kaka-Cao commented 1 year ago

这个好像确实没有，没有权重和代码

arkerman commented 1 year ago

他后面会陆续放出么？

lose4578 commented 1 year ago

他应该没有给MAE预训练的BACKBONE，只给了在COCO上最终训练好的权重，可以直接拿那个微调你的数据集，不过他的许多文件里好像导包都有错误，你发现这个问题了吗

可以提供下你的训练命令么，和更详细的错误日志

lose4578 commented 1 year ago

你们对gold-yolo是怎么进行pretrain的？

We will release the pretrained Gold-YOLO backbone of MIM pre-training. For the pre-training code, you can refer to https://github.com/keyu-tian/SparK/tree/main/pretrain, which has detailed guidance on how to apply on your own convolutional networks.

arkerman commented 1 year ago

@lose4578 Thanks for reply! I'm looking forward to seeing this part.

Yuxinyi-Qiyu commented 1 year ago

他应该没有给MAE预训练的BACKBONE，只给了在COCO上最终训练好的权重，可以直接拿那个微调你的数据集，不过他的许多文件里好像导包都有错误，你发现这个问题了吗

你好，请问你有复现过nano版本吗？很奇怪的一点是，我按照readme指令跑完nano版的训练后，结果可以在coco上跑到51.3mAP，这还是没有经过蒸馏的。效果比结果上高出太多个点了