search

huawei-noah / Pretrained-IPT

Apache License 2.0
434 stars 63 forks source link

关于mindspore版本code的问题 #26

Open Gloria971111 opened 2 years ago

Gloria971111 commented 2 years ago

您好！请问一下mindspore版本的code，finetune derain任务时加载的模型是否也是IPT_pretrain这个模型呢，这个模型在github上有.pt版本，没有看到有.ckpt版本，我参考了issue中其他人的问题，直接进行重命名，也加载失败了。请问这个pretrain的模型公开了吗？

HantingChen commented 2 years ago

你好，mindspore版本的模型和pytorch版本暂时不互通 。

Gloria971111 commented 2 years ago

感谢您的回复，那请问一下，mindspore版本的finetune的代码需要load的pretrained的模型现在公开了吗？

Shaw95 commented 2 years ago

你好，mindspore版本的预训练模型还没有公开，可以看下mindspore hub里面有下游任务的模型https://www.mindspore.cn/resources/hub

同时，如果急需使用，可以根据pytorch的ckpt，将对应参数的key的名字修改一下，mindspore就可以加载相应权重了

Gloria971111 commented 2 years ago

感谢您的回复！我想在新的数据集上进行finetune，需要mindspore版本的pretrain模型，没有在mindspore hub里找到pretrain的模型。 我将pytorch的pretrain模型进行了修改，mindspore可以加载了，但finetune的过程还是有问题，loss是nan。请问模型修改之后可以正常finetune吗？

HantingChen commented 2 years ago

感谢您的回复！我想在新的数据集上进行finetune，需要mindspore版本的pretrain模型，没有在mindspore hub里找到pretrain的模型。 我将pytorch的pretrain模型进行了修改，mindspore可以加载了，但finetune的过程还是有问题，loss是nan。请问模型修改之后可以正常finetune吗？

可以的，loss是nan应该是修改pretrain模型有问题，也可以尝试自己pretrain一个模型。

Shaw95 commented 2 years ago

或者可以找一个接近的下游任务模型当做pretrain模型进行finetune，区别不大的