search

taishan1994 / BERT-BILSTM-CRF

使用BERT-BILSTM-CRF进行中文命名实体识别。
291 stars 32 forks source link

大佬，当前模型是否可以增量迭代训练 #10

Open TigerShuai opened 7 months ago

TigerShuai commented 7 months ago

目前项目已引入您的模型了，大佬，当前模型是否可以增量迭代训练,😄

taishan1994 commented 7 months ago

是可以的，但需要修改一下代码。

TigerShuai commented 7 months ago

一些

大佬，可以提供下思路或者其他参考资料吗，机器学习我熟悉一些，这个深度学习感觉有点难了....... 万分感谢😄

taishan1994 commented 7 months ago

在训练之前先把训练好的模型权重加载到模型。

TigerShuai commented 7 months ago

在训练之前先把训练好的模型权重加载到模型。

好的，我配合gpt试一试，目前是把您的项目和labelstudio 开源的标注平台通过api对接起来，实现半监督训练ner模型，减少人工标注的工作量

TigerShuai commented 7 months ago

在训练之前先把训练好的模型权重加载到模型。

image 大佬，我查了gpt,他告诉我，保存新的权重使用的新的数据集就是先增量迭代了，如下图所示： image

按照这个案例的话，我理解没错的话，其实您的代码库本身就是具备增量迭代的功能的哈，self.model.state_dict()里面就是模型权重吧，我直接使用旧模型，用新数据就可以了吧😄

taishan1994 commented 7 months ago

这个只是保存权重，你要重新加载权重继续预训练，使用torch.load

TigerShuai commented 7 months ago

这个只是保存权重，你要重新加载权重继续预训练，使用torch.load

好的好的👍👍👍

TigerShuai commented 7 months ago

这个只是保存权重，你要重新加载权重继续预训练，使用torch.load

好的好的👍👍👍 image 大佬，应该是这样吧，我测试了几轮小样本，感觉很不错，万分感谢，甚至想投个币😄