如何训练自己的数据集

stanleylsx / entity_extractor_by_ner

基于Tensorflow2.3开发的NER模型，都是CRF范式，包含Bilstm(IDCNN)-CRF、Bert-Bilstm(IDCNN)-CRF、Bert-CRF，可微调预训练模型，可对抗学习，用于命名实体识别，配置后可直接运行。

390 stars 73 forks source link

Open CLMPaul opened 7 months ago

CLMPaul commented 7 months ago

你好，请问训练自己的数据集时，checkpoints_dir和checkpoints_name要怎么改呢

weiambt commented 6 months ago

先在data文件夹下面创建一个你自己的数据文件夹A，然后在checkpoints文件夹下面创建一个你自己的文件夹B，用于存放你训练的模型。然后再在system.config中修改datasets_fold，值为A，修改checkpoints_dir，值为B

M-YoungBWeN commented 2 months ago

文件夹B里面需要放入自己的预训练模型，是这个意思吗？训练后的模型也是存到了文件夹B里吗？ huggingface_tag的模型是用来干什么的？本人刚接触，不太懂，希望大佬答疑

M-YoungBWeN commented 2 months ago

checkpoints文件夹下面创建一个你自己的文件夹B，这个文件夹B是空文件夹，训练结束后里面会生成checkpoint，是这个意思吗？那个huggingface_tag的模型是预训练模型。