Closed hongxin001 closed 2 years ago
我理解的使用预训练FISM的embedding是指先训练FISM,然后存下embbeding并在NAIS里面训练时加载。 但FISM代码里似乎没有保存pretrain model的部分,而且NAIS里面读取pretrain的时候是直接读取整个模型,如果直接读取FISM的checkpoint应该会报错,能否放一下使用pretrain的方式?
@w821881341 你好,FISM代码中有存放ckpt的部分,而且保存的是embedding的权重,可以直接导入NAIS中进行训练。
我理解的使用预训练FISM的embedding是指先训练FISM,然后存下embbeding并在NAIS里面训练时加载。 但FISM代码里似乎没有保存pretrain model的部分,而且NAIS里面读取pretrain的时候是直接读取整个模型,如果直接读取FISM的checkpoint应该会报错,能否放一下使用pretrain的方式?