xiangking
commented
2 years ago 目前框架中使用的还是torch保存权重的方式
本质上ark-nlp中model.module还是torch模型，所以支持torch的保存方式，如下(PS:下面的module便是ipynb中的dl_module)：
# 保存模型的参数
torch.save(model.module.state_dict(), 'net_params.pth')
# 加载模型参数
module = Net()
module.load_state_dict(torch.load(PATH))同时也支持transformers的保存格式：
# 保存模型bin
module.save_pretrained("PATH") # 注意，这里的PATH只要到保存文件夹名就行至于Tokenizer暂未单独提供保存方式，可以使用pickle等就行保存，同时也支持使用transformers的方式进行保存：
# 保存transformers tokenizer
tokenizer.vocab.save_pretrained("PATH") # 注意，这里的PATH只要到保存文件夹名就行
paulpaulzhang
browserliu
YangFW
你好： 在 gobalpoint_bert.ipynb 中的 EfficientGlobalPointerBert 和 gobalpoint_bert 如何save，load 模型及Tokenizer 如何存储和读取训练模型？ 直接save EfficientGlobalPointerBert； model.module； 均出错。