search

ShannonAI / mrc-for-flat-nested-ner

Code for ACL 2020 paper `A Unified MRC Framework for Named Entity Recognition`
643 stars 117 forks source link

Can't reproduce the result #33

Open ycdzj opened 3 years ago

ycdzj commented 3 years ago

I'm trying to reproduce the performance of your model on zh_ontonotes4 and zh_msra. We use the dataset from you(https://drive.google.com/file/d/1KHRSTL_jn5PxQqz4prQ1No2E2wWcuxOd/view?usp=sharing). We use the same hyperparameters as you except n_gpu and export_model. But the result we got is significantly lower than your result. Is there anything wrong?

Here is our result: Dataset f1
zh_msra 0.8968
zh_ontonotes4 0.7234

Here is our log:

zh_msra

Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Please notice that merge the args_dict and json_config ... ...
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "directionality": "bidi",
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "pooler_fc_size": 768,
    "pooler_num_attention_heads": 12,
    "pooler_num_fc_layers": 3,
    "pooler_size_per_head": 128,
    "pooler_type": "first_token_transform",
    "type_vocab_size": 2,
    "vocab_size": 21128
  },
  "config_path": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/config/zh_bert.json",
  "data_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_mrc_data/zh_msra_new",
  "bert_model": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_checkpoints/chinese_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 100,
  "train_batch_size": 28,
  "dev_batch_size": 32,
  "test_batch_size": 32,
  "checkpoint": 300,
  "learning_rate": 1e-05,
  "num_train_epochs": 10,
  "warmup_proportion": -1.0,
  "local_rank": -1,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "export_model": true,
  "output_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new",
  "data_sign": "zh_msra",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "flat",
  "n_gpu": 2,
  "dropout": 0.5,
  "entity_threshold": 0.5,
  "data_cache": false
}
-*--*--*--*--*--*--*--*--*--*-
current data_sign: zh_msra
=*==*==*==*==*==*==*==*==*==*=
loading train data ... ...
125184
125184 train data loaded
=*==*==*==*==*==*==*==*==*==*=
loading dev data ... ...
13908
13908 dev data loaded
=*==*==*==*==*==*==*==*==*==*=
loading test data ... ...
13095
13095 test data loaded
######################################################################
EPOCH:  0
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003709064330905676
............................................................
DEV: loss, acc, precision, recall, f1
0.0093 0.8065 0.3027 0.3457 0.3228
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0121 0.7021 0.3227 0.3498 0.3357
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.017259005457162857
............................................................
DEV: loss, acc, precision, recall, f1
0.0057 0.8323 0.3274 0.3557 0.341
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0078 0.7381 0.3487 0.3592 0.3539
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.008477499708533287
............................................................
DEV: loss, acc, precision, recall, f1
0.005 0.8335 0.3295 0.3484 0.3387
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00913945771753788
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.8559 0.3639 0.3278 0.3449
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_1200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0049 0.7759 0.4154 0.3747 0.394
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.009499709121882915
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.852 0.3597 0.3604 0.36
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_1500.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.004 0.7733 0.4011 0.3875 0.3942
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0031920350156724453
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.8607 0.3918 0.3739 0.3826
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_1800.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.7785 0.4282 0.403 0.4152
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0036160091403871775
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8728 0.4586 0.4279 0.4427
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.7945 0.4993 0.4805 0.4897
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.4987242543138564e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8748 0.4482 0.4158 0.4314
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.018135201185941696
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8643 0.4061 0.3935 0.3997
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006583106005564332
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.8799 0.4774 0.4217 0.4478
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_3000.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0029 0.806 0.5064 0.4535 0.4785
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0013783248141407967
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9158 0.6883 0.6256 0.6554
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_0_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0029 0.8576 0.6877 0.6292 0.6571
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.477923307102174e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.8626 0.3895 0.3248 0.3542
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001600581599632278
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.8871 0.5343 0.5201 0.5271
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.006113825365900993
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.8901 0.5318 0.5047 0.5179
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  1
current learning rate 9.5e-06
current learning rate 9.5e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00010193065099883825
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9056 0.6209 0.604 0.6124
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0031829369254410267
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.9065 0.6214 0.6084 0.6149
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002457249443978071
............................................................
DEV: loss, acc, precision, recall, f1
0.0023 0.9127 0.6468 0.5984 0.6216
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0036396891809999943
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.9118 0.6393 0.6053 0.6218
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.001102091046050191
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.899 0.5569 0.552 0.5545
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002639753744006157
............................................................
DEV: loss, acc, precision, recall, f1
0.0021 0.8977 0.5695 0.5385 0.5536
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00040013709804043174
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9202 0.7055 0.6882 0.6967
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_1_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.003 0.8719 0.6716 0.6403 0.6556
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.1349966270208824e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9288 0.7213 0.7066 0.7138
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_1_2400.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0027 0.8769 0.6836 0.6471 0.6649
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003793400712311268
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.9263 0.7162 0.7046 0.7104
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.844341649208218e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.9273 0.749 0.6757 0.7104
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006897203857079148
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.9239 0.6936 0.6416 0.6666
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.337423575227149e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0022 0.9206 0.6974 0.6558 0.6759
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.904028173768893e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0024 0.9325 0.7243 0.6769 0.6998
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0017087730811908841
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.923 0.6829 0.6641 0.6734
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  2
current learning rate 9.025e-06
current learning rate 9.025e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.572391142370179e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.936 0.7424 0.7424 0.7424
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.003 0.9 0.7143 0.6891 0.7015
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002671282854862511
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.9392 0.7642 0.7404 0.7521
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0029 0.8993 0.7349 0.6938 0.7138
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00020011379092466086
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.9349 0.7454 0.708 0.7262
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0007080938667058945
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9443 0.7854 0.7463 0.7654
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_1200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.9039 0.7389 0.6862 0.7116
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004826923832297325
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.943 0.7894 0.8084 0.7988
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_2_1500.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.003 0.911 0.773 0.7501 0.7614
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0013181626563891768
............................................................
DEV: loss, acc, precision, recall, f1
0.0025 0.945 0.7911 0.7731 0.782
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.680655107833445e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9313 0.7098 0.6936 0.7016
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.5900772016029805e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0027 0.9413 0.7615 0.7316 0.7462
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0007286354666575789
............................................................
DEV: loss, acc, precision, recall, f1
0.0027 0.9415 0.7589 0.7559 0.7574
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.554381303023547e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9425 0.7897 0.7169 0.7515
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0014772666618227959
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9367 0.7375 0.7306 0.734
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.3654104047163855e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0026 0.9413 0.7677 0.7306 0.7487
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0011215854901820421
............................................................
DEV: loss, acc, precision, recall, f1
0.0027 0.9457 0.7887 0.7544 0.7712
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005052422638982534
............................................................
DEV: loss, acc, precision, recall, f1
0.003 0.9385 0.7716 0.7385 0.7547
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  3
current learning rate 8.57375e-06
current learning rate 8.57375e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.786872209981084e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0028 0.9412 0.751 0.7505 0.7508
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.6883044231217355e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.945 0.7651 0.7368 0.7507
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00026876796619035304
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9435 0.751 0.7392 0.7451
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005867047584615648
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9401 0.7598 0.7529 0.7564
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0003530888934619725
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9418 0.7649 0.7679 0.7664
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.64657447184436e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9499 0.807 0.7794 0.793
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.678406058810651e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9438 0.7812 0.7245 0.7518
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.638787239244266e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9453 0.7639 0.7392 0.7514
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0008462652331218123
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9469 0.7832 0.7532 0.7679
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003733318066224456
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9471 0.793 0.7311 0.7608
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004604206478688866
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9454 0.759 0.7363 0.7474
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.81521693320974e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9461 0.7833 0.7804 0.7819
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.128935077256756e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0029 0.9459 0.7783 0.7657 0.772
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00015788532618898898
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9435 0.7687 0.7299 0.7488
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  4
current learning rate 8.1450625e-06
current learning rate 8.1450625e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.4038858100539073e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.941 0.7442 0.7618 0.7529
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.912970275152475e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9467 0.7873 0.7684 0.7778
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.056797479279339e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9432 0.7629 0.7525 0.7577
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00013186527939978987
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9445 0.7672 0.7642 0.7657
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.000299242848996073
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9439 0.7744 0.7647 0.7695
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001854709116742015
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9481 0.7842 0.7674 0.7757
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.7972604079404846e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9421 0.7568 0.7556 0.7562
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.1530944448168157e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9494 0.7817 0.7696 0.7756
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002238978398963809
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9435 0.7507 0.7556 0.7531
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.25590730831027e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9463 0.7766 0.7618 0.7691
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.0732316594803706e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9457 0.7819 0.7731 0.7774
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.1368946363509167e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9447 0.7948 0.7812 0.7879
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.3121558595230454e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9482 0.7924 0.7829 0.7876
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001302013552049175
............................................................
DEV: loss, acc, precision, recall, f1
0.0033 0.9415 0.7497 0.7429 0.7463
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  5
current learning rate 7.737809375e-06
current learning rate 7.737809375e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.1721472876379266e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9409 0.7519 0.7709 0.7612
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00020708562806248665
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9476 0.7939 0.7581 0.7756
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00012495477858465165
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9435 0.7592 0.7451 0.7521
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.76084600854665e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9444 0.7636 0.7765 0.77
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002898084931075573
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9452 0.764 0.776 0.77
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.778118116315454e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9525 0.8089 0.7851 0.7968
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.654498479794711e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9528 0.8098 0.7814 0.7954
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.1837482816190459e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9467 0.7632 0.7794 0.7712
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003885742276906967
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.948 0.7909 0.7951 0.793
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.392687681800453e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9509 0.8067 0.7927 0.7997
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_5_3000.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0039 0.9201 0.7929 0.7723 0.7825
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.9305941502097994e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9474 0.7881 0.7593 0.7735
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.2214766229590168e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9501 0.8106 0.7834 0.7968
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.3114838566252729e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0031 0.9539 0.8211 0.7964 0.8086
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_5_3900.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0037 0.921 0.8058 0.771 0.788
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00011340352648403496
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9488 0.7774 0.7755 0.7765
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  6
current learning rate 7.35091890625e-06
current learning rate 7.35091890625e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.088798833545297e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9516 0.8116 0.7873 0.7993
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.373324478976429e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0032 0.9519 0.8269 0.7912 0.8087
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0036 0.9184 0.8179 0.7759 0.7963
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.692039899760857e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9462 0.7844 0.7866 0.7855
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.542749957181513e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9497 0.8105 0.7964 0.8034
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00022528451518155634
............................................................
DEV: loss, acc, precision, recall, f1
0.0043 0.9473 0.8003 0.8221 0.8111
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_1500.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.005 0.9209 0.7957 0.7945 0.7951
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005641370080411434
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9532 0.833 0.8209 0.8269
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_1800.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0042 0.9299 0.8247 0.8184 0.8216
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004577793297357857
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.9515 0.8185 0.8054 0.8119
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.467610316780338e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9545 0.8385 0.8278 0.8331
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_2400.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0037 0.9336 0.8392 0.823 0.831
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00014384184032678604
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.955 0.8396 0.8501 0.8448
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_2700.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.004 0.937 0.8398 0.8375 0.8387
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.342401032568887e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9541 0.8442 0.8204 0.8322
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00020298067829571664
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9506 0.8208 0.8393 0.8299
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.076973262570391e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9542 0.8447 0.8597 0.8521
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_6_3600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.004 0.9388 0.8515 0.8517 0.8516
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.1249686445517e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9516 0.8301 0.8486 0.8393
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.345501555595547e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9539 0.8299 0.8297 0.8298
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  7
current learning rate 6.9833729609374995e-06
current learning rate 6.9833729609374995e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.043228727823589e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.954 0.8378 0.8224 0.83
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00039202457992359996
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9514 0.8262 0.842 0.834
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.632404695963487e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9501 0.8067 0.8234 0.815
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.399443059810437e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9562 0.8615 0.8364 0.8487
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00017888784350361675
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9554 0.8433 0.8555 0.8493
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9343957319506444e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9539 0.8619 0.8376 0.8496
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.579341500881128e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9583 0.8678 0.868 0.8679
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_7_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0043 0.9432 0.8813 0.8766 0.8789
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.265644631435862e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9534 0.8374 0.853 0.8452
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00029382319189608097
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9517 0.8333 0.8538 0.8434
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.263807932147756e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9578 0.8628 0.8513 0.857
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.8777241823263466e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9588 0.8728 0.8656 0.8692
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_7_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0044 0.9447 0.8758 0.8706 0.8732
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.0047420902265e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9598 0.8677 0.853 0.8603
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.263941602606792e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9563 0.8476 0.8472 0.8474
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.551185262855142e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9597 0.8822 0.8761 0.8791
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_7_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0042 0.9517 0.887 0.8846 0.8858
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  8
current learning rate 6.634204312890624e-06
current learning rate 6.634204312890624e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.8492053135996684e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0036 0.9584 0.8651 0.8513 0.8582
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.777913874131627e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0034 0.962 0.8931 0.8651 0.8789
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.2939608243177645e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9564 0.8517 0.8523 0.852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.324803037685342e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9584 0.8691 0.8604 0.8648
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00017886720888782293
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9598 0.8904 0.8606 0.8752
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0007464283262379467
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9564 0.8563 0.8584 0.8574
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9155448171659373e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9619 0.8881 0.8817 0.8849
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_8_2100.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0043 0.9472 0.8923 0.8927 0.8925
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.873957095696824e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9586 0.8614 0.8614 0.8614
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0025372281670570374
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9582 0.878 0.8813 0.8796
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.61212267105293e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0045 0.9615 0.8956 0.8714 0.8834
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.7969865186605603e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.96 0.8856 0.8773 0.8814
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.077626378304558e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9602 0.8864 0.8729 0.8796
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.5381450566565036e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0035 0.9602 0.8845 0.8759 0.8802
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.49105422780849e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9599 0.8847 0.8943 0.8895
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_8_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0044 0.9526 0.8983 0.9005 0.8994
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  9
current learning rate 6.302494097246093e-06
current learning rate 6.302494097246093e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.3866313060570974e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9582 0.8695 0.8697 0.8696
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.368812021013582e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0041 0.9636 0.9024 0.8844 0.8933
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export_zh_msra_new/bert_finetune_model_9_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0044 0.9527 0.9038 0.89 0.8968
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.5595760487485677e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0042 0.9618 0.8887 0.8795 0.8841
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.529859870672226e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.005 0.9593 0.9009 0.8388 0.8688
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00022552689188160002
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9618 0.8883 0.8862 0.8873
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.776603832899127e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0038 0.9616 0.8993 0.8871 0.8932
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.422881268808851e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9583 0.8739 0.8908 0.8823
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.909374749535345e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.004 0.9613 0.8847 0.8844 0.8846
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00016942492220550776
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9582 0.8738 0.8815 0.8776
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.059729690197855e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9619 0.9062 0.868 0.8867
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.639337799337227e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0037 0.9603 0.8854 0.8849 0.8852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.462526809831616e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0043 0.9584 0.8609 0.8913 0.8758
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.65903519600397e-07
............................................................
DEV: loss, acc, precision, recall, f1
0.0039 0.9618 0.8902 0.883 0.8866
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.575884617632255e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0042 0.9586 0.8749 0.8854 0.8801
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Best DEV : overall best loss, acc, precision, recall, f1 
0.0041 0.9636 0.9024 0.8844 0.8933
scores on TEST when Best DEV:loss, acc, precision, recall, f1 
0.0044 0.9527 0.9038 0.89 0.8968
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Finish to execute command, exited with: 0

zh_ontonotes4

Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Please notice that merge the args_dict and json_config ... ...
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "directionality": "bidi",
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "pooler_fc_size": 768,
    "pooler_num_attention_heads": 12,
    "pooler_num_fc_layers": 3,
    "pooler_size_per_head": 128,
    "pooler_type": "first_token_transform",
    "type_vocab_size": 2,
    "vocab_size": 21128
  },
  "config_path": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/config/zh_bert.json",
  "data_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_mrc_data/zh_ontonotes4",
  "bert_model": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_checkpoints/chinese_L-12_H-768_A-12",
  "task_name": null,
  "max_seq_length": 100,
  "train_batch_size": 16,
  "dev_batch_size": 32,
  "test_batch_size": 32,
  "checkpoint": 300,
  "learning_rate": 8e-06,
  "num_train_epochs": 6,
  "warmup_proportion": -1.0,
  "local_rank": -1,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "export_model": true,
  "output_dir": "/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export",
  "data_sign": "zh_onto",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "flat",
  "n_gpu": 2,
  "dropout": 0.2,
  "entity_threshold": 0.5,
  "data_cache": false
}
-*--*--*--*--*--*--*--*--*--*-
current data_sign: zh_onto
=*==*==*==*==*==*==*==*==*==*=
loading train data ... ...
62896
62896 train data loaded
=*==*==*==*==*==*==*==*==*==*=
loading dev data ... ...
17204
17204 dev data loaded
=*==*==*==*==*==*==*==*==*==*=
loading test data ... ...
17384
17384 test data loaded
######################################################################
EPOCH:  0
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.015635447576642036
............................................................
DEV: loss, acc, precision, recall, f1
0.0139 0.7215 0.3345 0.3251 0.3297
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.014 0.7203 0.348 0.3313 0.3394
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.007844654843211174
............................................................
DEV: loss, acc, precision, recall, f1
0.0127 0.7288 0.3737 0.3722 0.3729
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0125 0.7235 0.3866 0.3692 0.3777
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005729345139116049
............................................................
DEV: loss, acc, precision, recall, f1
0.0138 0.7407 0.4195 0.2787 0.3349
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002610839204862714
............................................................
DEV: loss, acc, precision, recall, f1
0.0181 0.701 0.1474 0.0357 0.0575
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00010268688492942601
............................................................
DEV: loss, acc, precision, recall, f1
0.0145 0.711 0.2596 0.1811 0.2134
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0021138559095561504
............................................................
DEV: loss, acc, precision, recall, f1
0.0133 0.7255 0.3243 0.2181 0.2608
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.213035471271724e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0097 0.7517 0.3611 0.3479 0.3544
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004232677631080151
............................................................
DEV: loss, acc, precision, recall, f1
0.0094 0.7557 0.3796 0.3389 0.3581
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.005775002297013998
............................................................
DEV: loss, acc, precision, recall, f1
0.0097 0.7405 0.3535 0.2601 0.2997
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.670418325578794e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0096 0.7586 0.3992 0.3248 0.3582
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00026009808061644435
............................................................
DEV: loss, acc, precision, recall, f1
0.0098 0.7589 0.4331 0.4117 0.4221
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0098 0.7515 0.4467 0.4163 0.431
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004629841540008783
............................................................
DEV: loss, acc, precision, recall, f1
0.0143 0.709 0.2389 0.0955 0.1364
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9041992345592007e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0098 0.7601 0.4985 0.3722 0.4262
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_0_3900.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0099 0.7544 0.5063 0.3828 0.436
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  1
current learning rate 7.599999999999999e-06
current learning rate 7.599999999999999e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00890625361353159
............................................................
DEV: loss, acc, precision, recall, f1
0.0099 0.7716 0.4363 0.434 0.4351
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_1_300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0099 0.7656 0.4357 0.4337 0.4347
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002970438916236162
............................................................
DEV: loss, acc, precision, recall, f1
0.0103 0.7981 0.5401 0.5912 0.5645
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_1_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0102 0.7905 0.5467 0.5949 0.5698
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.585673377732746e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0104 0.7812 0.5076 0.4711 0.4887
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.001252874732017517
............................................................
DEV: loss, acc, precision, recall, f1
0.0141 0.7187 0.3635 0.2176 0.2722
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.7688555089989677e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.7443 0.4731 0.3203 0.382
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.000615155790001154
............................................................
DEV: loss, acc, precision, recall, f1
0.0113 0.769 0.4995 0.4256 0.4596
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.140300628321711e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0101 0.8015 0.5079 0.5131 0.5105
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002192702842876315
............................................................
DEV: loss, acc, precision, recall, f1
0.0095 0.7762 0.4196 0.3985 0.4087
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00275650923140347
............................................................
DEV: loss, acc, precision, recall, f1
0.0104 0.7752 0.5051 0.4369 0.4685
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.547100151190534e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0111 0.7897 0.5184 0.4606 0.4878
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.813005115371197e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0117 0.8265 0.6658 0.652 0.6588
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_1_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0112 0.8245 0.6983 0.6696 0.6836
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004789315164089203
............................................................
DEV: loss, acc, precision, recall, f1
0.0149 0.7135 0.2583 0.1273 0.1705
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.040058335405774e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0112 0.8004 0.6621 0.5128 0.578
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  2
current learning rate 7.219999999999999e-06
current learning rate 7.219999999999999e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.004940534010529518
............................................................
DEV: loss, acc, precision, recall, f1
0.0117 0.76 0.3856 0.3745 0.38
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002199856797233224
............................................................
DEV: loss, acc, precision, recall, f1
0.0117 0.8255 0.6533 0.6932 0.6727
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_2_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0115 0.8296 0.6795 0.7163 0.6974
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.4394217689405195e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0126 0.8136 0.6736 0.5756 0.6208
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005138662527315319
............................................................
DEV: loss, acc, precision, recall, f1
0.0159 0.7475 0.5579 0.3065 0.3956
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.171192919486202e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0154 0.7685 0.5678 0.4331 0.4914
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0008888521115295589
............................................................
DEV: loss, acc, precision, recall, f1
0.0133 0.8053 0.6792 0.558 0.6127
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.557718850468518e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0127 0.8029 0.5219 0.5499 0.5355
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005677390727214515
............................................................
DEV: loss, acc, precision, recall, f1
0.0119 0.7954 0.5096 0.4373 0.4707
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006335428915917873
............................................................
DEV: loss, acc, precision, recall, f1
0.0139 0.7797 0.5437 0.4136 0.4698
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.084355962026166e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0147 0.8009 0.6843 0.5113 0.5853
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.823778676334769e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0133 0.8366 0.6872 0.6863 0.6867
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_2_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0129 0.834 0.7046 0.696 0.7003
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.006227924022823572
............................................................
DEV: loss, acc, precision, recall, f1
0.0165 0.7439 0.4169 0.2652 0.3242
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.544123268919066e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0151 0.7955 0.6788 0.4761 0.5596
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  3
current learning rate 6.858999999999998e-06
current learning rate 6.858999999999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002185183810070157
............................................................
DEV: loss, acc, precision, recall, f1
0.0138 0.7991 0.5125 0.5017 0.5071
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0016793797258287668
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.7925 0.611 0.6167 0.6138
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.0567140381899662e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.824 0.698 0.6065 0.6491
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.243372915079817e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0189 0.7558 0.5822 0.3763 0.4571
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.0184657993668225e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0175 0.7644 0.5536 0.4222 0.4791
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.5033217752934434e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0158 0.7993 0.645 0.5573 0.5979
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.953578016080428e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.013 0.8283 0.5891 0.6137 0.6011
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005898976814933121
............................................................
DEV: loss, acc, precision, recall, f1
0.014 0.7876 0.4804 0.3908 0.431
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00040149822598323226
............................................................
DEV: loss, acc, precision, recall, f1
0.0157 0.7979 0.6009 0.4885 0.5389
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.3822657314885873e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0145 0.8476 0.7095 0.6506 0.6788
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
5.995051469653845e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0145 0.8507 0.7152 0.6913 0.703
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-for-flat-nested-ner/bert_export/bert_finetune_model_3_3300.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0139 0.8524 0.7395 0.708 0.7234
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0014947339659556746
............................................................
DEV: loss, acc, precision, recall, f1
0.0148 0.7761 0.5482 0.4073 0.4674
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.9173493203416e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0163 0.8136 0.689 0.5582 0.6167
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  4
current learning rate 6.516049999999998e-06
current learning rate 6.516049999999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002748646365944296
............................................................
DEV: loss, acc, precision, recall, f1
0.0152 0.8202 0.5604 0.5664 0.5634
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001686277100816369
............................................................
DEV: loss, acc, precision, recall, f1
0.0169 0.7881 0.6005 0.5829 0.5916
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.56941824167734e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.017 0.8233 0.6964 0.6386 0.6662
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.912009121151641e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0222 0.7561 0.597 0.3758 0.4613
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.676116648421157e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0184 0.7635 0.6237 0.496 0.5526
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.3288115951581858e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0169 0.7934 0.661 0.558 0.6051
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.7886032967217034e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0146 0.8246 0.6091 0.588 0.5984
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0012897758278995752
............................................................
DEV: loss, acc, precision, recall, f1
0.0163 0.8145 0.5931 0.5286 0.559
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004314161487855017
............................................................
DEV: loss, acc, precision, recall, f1
0.0168 0.8122 0.6643 0.5352 0.5928
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.5963781808968633e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0175 0.8206 0.6967 0.5852 0.6361
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.498541991575621e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.017 0.8382 0.7153 0.6529 0.6827
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0009119447786360979
............................................................
DEV: loss, acc, precision, recall, f1
0.0192 0.778 0.5853 0.4144 0.4852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.2854179607966216e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0176 0.8144 0.6987 0.557 0.6198
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  5
current learning rate 6.190247499999998e-06
current learning rate 6.190247499999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004023508809041232
............................................................
DEV: loss, acc, precision, recall, f1
0.0185 0.8239 0.5906 0.5993 0.5949
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001371507823932916
............................................................
DEV: loss, acc, precision, recall, f1
0.0178 0.7743 0.6098 0.5625 0.5852
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.89199192088563e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0176 0.8038 0.7 0.5973 0.6446
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
7.853328133933246e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0285 0.7492 0.5185 0.2837 0.3667
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.2777915091864998e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0264 0.7694 0.661 0.3848 0.4864
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.30022168479627e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0204 0.7944 0.6469 0.4908 0.5581
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.568814124970231e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0151 0.8354 0.621 0.6415 0.6311
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001149507297668606
............................................................
DEV: loss, acc, precision, recall, f1
0.0177 0.8253 0.621 0.5553 0.5863
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00038258195854723454
............................................................
DEV: loss, acc, precision, recall, f1
0.0195 0.806 0.6516 0.5158 0.5758
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.0197035155433696e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0185 0.8312 0.7268 0.6077 0.6619
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.8620584998861887e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0176 0.844 0.7221 0.6339 0.6751
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0017854978796094656
............................................................
DEV: loss, acc, precision, recall, f1
0.0167 0.8096 0.6804 0.544 0.6046
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.354286375019001e-06
............................................................
DEV: loss, acc, precision, recall, f1
0.0169 0.8353 0.7247 0.6206 0.6686
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Best DEV : overall best loss, acc, precision, recall, f1 
0.0145 0.8507 0.7152 0.6913 0.703
scores on TEST when Best DEV:loss, acc, precision, recall, f1 
0.0139 0.8524 0.7395 0.708 0.7234
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Finish to execute command, exited with: 0
ghost commented 3 years ago

thanks for the comment. We will look into it and get back in one day or two

zhyongwei commented 3 years ago

Can not reproduce the rusult on msra flat ner task either !

littlesulley commented 3 years ago

Hi, sorry for the late reply. We just updated this repo and you can directly download the processed data and follow the instructions to reproduce the results! @zhyongwei @ycdzj

ghost commented 3 years ago

您好，针对您的问题，我们已经基于目前的codebase重新在MSRA数据集上进行了训练。 麻烦请您拉取最新的代码，并且使用下载提供的MRC数据进行模型训练。

非常感谢！

ycdzj commented 3 years ago

Thanks. I'll try again using the latest codebase and dataset.

ycdzj commented 3 years ago

Hi @stepperL @littlesulley , Sorry to bother you again, but there are still some questions:

  1. The hyperparameters in the log folder are different from the hyperparameters suggested in the script folder (e.g. log/zh_ontonote.txt and script/train_zh_onto.sh use different max_seq_length). Which one should be used to yield the results of the paper?
  2. Does the lack of apex affect the results?
  3. The scores of best dev seems to be missing from log/zh_ontonote.txt, is this file complete?
littlesulley commented 3 years ago

Hi, the max_seq_length value depends on your GPU memory size. In general, you can use the hyper-parameters in the log folder to get the results. If your memory size is limited, you can tune it a bit smaller. Apex is only used for accelerating training, which does not affect the results. Well, you can see the scores at the end of the file, which should be:

Best DEV : overall best loss, acc, precision, recall, f1
0.0108 0.8768 0.8193 0.7978 0.8084
scores on TEST when Best DEV:loss, acc, precision, recall, f1
0.0105 0.8798 0.8303 0.8135 0.8218
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
ycdzj commented 3 years ago

Hi, I retried using the latest code and dataset but still unable to get the expected result.

zh_onto4

Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Better speed can be achieved with apex installed from https://www.github.com/nvidia/apex.
Please notice that merge the args_dict and json_config ... ...
{
  "bert_frozen": "false",
  "hidden_size": 768,
  "hidden_dropout_prob": 0.2,
  "classifier_sign": "multi_nonlinear",
  "clip_grad": 1,
  "bert_config": {
    "attention_probs_dropout_prob": 0.1,
    "directionality": "bidi",
    "hidden_act": "gelu",
    "hidden_dropout_prob": 0.1,
    "hidden_size": 768,
    "initializer_range": 0.02,
    "intermediate_size": 3072,
    "max_position_embeddings": 512,
    "num_attention_heads": 12,
    "num_hidden_layers": 12,
    "pooler_fc_size": 768,
    "pooler_num_attention_heads": 12,
    "pooler_num_fc_layers": 3,
    "pooler_size_per_head": 128,
    "pooler_type": "first_token_transform",
    "type_vocab_size": 2,
    "vocab_size": 21128
  },
  "config_path": "/data/ceph/NLP/yichenzhao/mrc-ner/mrc-for-flat-nested-ner/config/zh_bert.json",
  "data_dir": "/data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4",
  "bert_model": "/data/ceph/NLP/pytorch_BERT_data/bert-base-chinese",
  "task_name": null,
  "max_seq_length": 100,
  "train_batch_size": 12,
  "dev_batch_size": 32,
  "test_batch_size": 32,
  "checkpoint": 600,
  "learning_rate": 8e-06,
  "num_train_epochs": 6,
  "warmup_proportion": -1.0,
  "max_grad_norm": 1.0,
  "gradient_accumulation_steps": 1,
  "seed": 2333,
  "output_dir": "/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2",
  "data_sign": "zh_onto",
  "weight_start": 1.0,
  "weight_end": 1.0,
  "weight_span": 1.0,
  "entity_sign": "flat",
  "n_gpu": 2,
  "dropout": 0.2,
  "entity_threshold": 0.5,
  "num_data_processor": 4,
  "data_cache": true,
  "export_model": true,
  "do_lower_case": false,
  "fp16": false,
  "amp_level": "O2",
  "local_rank": -1
}
-*--*--*--*--*--*--*--*--*--*-
current data_sign: zh_onto
=*==*==*==*==*==*==*==*==*==*=
loading train data ... ...
62896
%%%% %%%% Load Saved Cache files in /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4 %%% %%% 
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.train.cache.100.4-3 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.train.cache.100.4-1 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.train.cache.100.4-0 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.train.cache.100.4-2 <<< <<< <<<
check number of examples before and after data processing : 
62896 62896
62896 train data loaded
=*==*==*==*==*==*==*==*==*==*=
loading dev data ... ...
17204
%%%% %%%% Load Saved Cache files in /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4 %%% %%% 
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.dev.cache.100.4-1 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.dev.cache.100.4-3 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.dev.cache.100.4-0 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.dev.cache.100.4-2 <<< <<< <<<
check number of examples before and after data processing : 
17204 17204
17204 dev data loaded
=*==*==*==*==*==*==*==*==*==*=
loading test data ... ...
17384
%%%% %%%% Load Saved Cache files in /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4 %%% %%% 
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.test.cache.100.4-2 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.test.cache.100.4-1 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.test.cache.100.4-0 <<< <<< <<<
load sliced features from : /data/ceph/NLP/yichenzhao/mrc-ner/dataset/zh_onto4/mrc-ner.test.cache.100.4-3 <<< <<< <<<
check number of examples before and after data processing : 
17384 17384
17384 test data loaded
######################################################################
EPOCH:  0
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.001652920967899263
............................................................
DEV: loss, acc, precision, recall, f1
0.0439 0.6816 0.1875 0.0967 0.1276
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_0_600.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0458 0.6737 0.1945 0.1003 0.1323
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0016265915473923087
............................................................
DEV: loss, acc, precision, recall, f1
0.0343 0.5582 0.5616 0.4304 0.4873
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_0_1200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0329 0.5546 0.5655 0.4407 0.4953
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0011848534923046827
............................................................
DEV: loss, acc, precision, recall, f1
0.0374 0.7405 0.5497 0.321 0.4053
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.024748602882027626
............................................................
DEV: loss, acc, precision, recall, f1
0.0332 0.7803 0.5815 0.4763 0.5237
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_0_2400.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0328 0.7716 0.5896 0.474 0.5255
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003032384440302849
............................................................
DEV: loss, acc, precision, recall, f1
0.0225 0.8069 0.6377 0.5406 0.5852
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_0_3000.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0214 0.7991 0.6446 0.5547 0.5963
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.005436362698674202
............................................................
DEV: loss, acc, precision, recall, f1
0.0225 0.8056 0.618 0.5125 0.5603
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.000342340994393453
............................................................
DEV: loss, acc, precision, recall, f1
0.0237 0.8227 0.7784 0.5807 0.6651
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_0_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0225 0.8117 0.7857 0.5894 0.6735
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.005843396298587322
............................................................
DEV: loss, acc, precision, recall, f1
0.031 0.7633 0.5753 0.3443 0.4308
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  1
current learning rate 7.599999999999999e-06
current learning rate 7.599999999999999e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0004459796764422208
............................................................
DEV: loss, acc, precision, recall, f1
0.0308 0.3939 0.5908 0.5335 0.5607
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00023223042080644518
............................................................
DEV: loss, acc, precision, recall, f1
0.0328 0.606 0.4354 0.5856 0.4994
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00046387454494833946
............................................................
DEV: loss, acc, precision, recall, f1
0.0429 0.5809 0.6057 0.4551 0.5197
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003973638638854027
............................................................
DEV: loss, acc, precision, recall, f1
0.0343 0.5962 0.6721 0.6329 0.6519
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0006685546250082552
............................................................
DEV: loss, acc, precision, recall, f1
0.0225 0.8267 0.6514 0.5687 0.6073
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0037166583351790905
............................................................
DEV: loss, acc, precision, recall, f1
0.026 0.8147 0.6518 0.5415 0.5916
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.847277109045535e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0264 0.8408 0.8019 0.6452 0.7151
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_1_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0241 0.8374 0.8164 0.6676 0.7345
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.003029222832992673
............................................................
DEV: loss, acc, precision, recall, f1
0.0384 0.7821 0.6681 0.4199 0.5157
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  2
current learning rate 7.219999999999999e-06
current learning rate 7.219999999999999e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0002490296901669353
............................................................
DEV: loss, acc, precision, recall, f1
0.0357 0.5015 0.5529 0.5301 0.5413
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
8.421968959737569e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0296 0.6811 0.7029 0.7177 0.7102
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001459791965316981
............................................................
DEV: loss, acc, precision, recall, f1
0.0566 0.6263 0.5983 0.3827 0.4668
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.7831893273978494e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0316 0.611 0.4648 0.6415 0.5391
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0005190802621655166
............................................................
DEV: loss, acc, precision, recall, f1
0.0258 0.8401 0.662 0.6229 0.6419
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0017716556321829557
............................................................
DEV: loss, acc, precision, recall, f1
0.0291 0.8326 0.6936 0.5918 0.6387
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
4.8284655349561945e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0312 0.8559 0.7818 0.6836 0.7294
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_2_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0288 0.8571 0.7995 0.7119 0.7532
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002298634499311447
............................................................
DEV: loss, acc, precision, recall, f1
0.0435 0.8037 0.7371 0.5153 0.6066
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  3
current learning rate 6.858999999999998e-06
current learning rate 6.858999999999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001761614839779213
............................................................
DEV: loss, acc, precision, recall, f1
0.0407 0.7856 0.6125 0.5528 0.5811
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
6.521698378492147e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.036 0.6214 0.4325 0.6765 0.5276
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0003421466099098325
............................................................
DEV: loss, acc, precision, recall, f1
0.0483 0.7804 0.6857 0.4693 0.5572
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.1061717486882117e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0421 0.8148 0.7114 0.5629 0.6285
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00016991389566101134
............................................................
DEV: loss, acc, precision, recall, f1
0.0296 0.8424 0.7003 0.6781 0.689
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.001173229655250907
............................................................
DEV: loss, acc, precision, recall, f1
0.0351 0.8302 0.7064 0.6088 0.654
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
3.66695603588596e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0395 0.8512 0.7642 0.6674 0.7125
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0024669275153428316
............................................................
DEV: loss, acc, precision, recall, f1
0.0562 0.7884 0.6559 0.4219 0.5135
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  4
current learning rate 6.516049999999998e-06
current learning rate 6.516049999999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001408887910656631
............................................................
DEV: loss, acc, precision, recall, f1
0.0445 0.7942 0.6163 0.5286 0.5691
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.4665927412570454e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0391 0.626 0.4345 0.7052 0.5377
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.588247662060894e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0669 0.7748 0.6096 0.4647 0.5274
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
2.6212183001916856e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0578 0.8124 0.7482 0.5433 0.6295
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0001858370378613472
............................................................
DEV: loss, acc, precision, recall, f1
0.0323 0.8538 0.6983 0.6671 0.6823
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0008801158983260393
............................................................
DEV: loss, acc, precision, recall, f1
0.0388 0.8296 0.7098 0.6012 0.651
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.4538498362526298e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.044 0.8621 0.7911 0.6933 0.739
SAVED model path is :
/data/ceph/NLP/yichenzhao/mrc-ner/output_mrc_ner/zh_onto_100_8e-6_12_0.2/bert_finetune_model_4_4200.bin
............................................................
TEST: loss, acc, precision, recall, f1
0.0415 0.8585 0.7991 0.7083 0.751
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.00022579288634005934
............................................................
DEV: loss, acc, precision, recall, f1
0.053 0.8136 0.7446 0.5263 0.6167
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
######################################################################
EPOCH:  5
current learning rate 6.190247499999998e-06
current learning rate 6.190247499999998e-06
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
9.275207412429154e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0451 0.7983 0.6165 0.5516 0.5823
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.702767076494638e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0436 0.8366 0.7337 0.6979 0.7154
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.0643276254995726e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0737 0.782 0.669 0.4653 0.5489
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.087506279873196e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0569 0.8123 0.7499 0.5841 0.6567
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.000202815979719162
............................................................
DEV: loss, acc, precision, recall, f1
0.0363 0.7756 0.6674 0.6738 0.6706
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.002885072957724333
............................................................
DEV: loss, acc, precision, recall, f1
0.0476 0.8324 0.7325 0.5979 0.6584
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
1.9891409465344623e-05
............................................................
DEV: loss, acc, precision, recall, f1
0.0435 0.8429 0.6981 0.6371 0.6662
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
current training loss is : 
0.0003595782327465713
............................................................
DEV: loss, acc, precision, recall, f1
0.0513 0.8193 0.7172 0.5564 0.6267
-*--*--*--*--*--*--*--*--*--*--*--*--*--*--*-
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Best DEV : overall best loss, acc, precision, recall, f1 
0.044 0.8621 0.7911 0.6933 0.739
scores on TEST when Best DEV:loss, acc, precision, recall, f1 
0.0415 0.8585 0.7991 0.7083 0.751
=&==&==&==&==&==&==&==&==&==&==&==&==&==&==&=
Finish to execute command, exited with: 0
zxlmufc commented 3 years ago

In case you are struggling in reproducing the results. I'm using the latest code and reached F1 0.93466 on MSRA at epoch 9. The training has not stopped yet.

algoflow19 commented 3 years ago

Guys, they are using robetra_wwm_ext_large.....

gjy-code commented 2 years ago

In case you are struggling in reproducing the results. I'm using the latest code and reached F1 0.93466 on MSRA at epoch 9. The training has not stopped yet.

Hello, could you please provide your MSra. sh parameter? I could not reproduce the paper result correctly and only achieved 73% on the test set，Thanks

Senwang98 commented 2 years ago

@gjy-code Have you solved problem? Do you use robetra_wwm_ext_large as pre-trained model? I training BERT-Tagger on zh_MSRA and the dev result is 0.94+ which seems fine to me.