Experimentos NER - Contratos e Licitações

[viniciusrpb]

• [x] IOB Transformer
• [x] Modelos de Linguagem
  • [x] LSTM
  • [x] CNN-LSTM
  • [x] CNN-BiLSTM
  • [x] BiLSTM-CRF
  • [x] CRF
  • [x] BERT-BiLSTM-CRF
• [x] Otimização de Hiperparâmetros
• [ ] Análise Estatística
  • [ ] wilcoxon
  • [ ] nemenyi
• [ ] Redação dos resultados

[alice7lima]

Desempenho geral dos modelos por ato Learning rate	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM	CRF	CNN-BiLSTM-CRF
Contrato e Convênio	0.847±0.022	0.856±0.020	0.865±0.031	0.860±0.029	0.000 ± 0.000
Aditamento	0.710±0.066	0.826±0.029	0.854±0.021	0.841±0.043	0.000 ± 0.000
Aviso de Licitação	0.890±0.014	0.878±0.009	0.867±0.045	0.905±0.011	0.061±0.122
Suspensão de Licitação	0.849±0.039	0.724±0.040	0.615±0.313	0.893±0.032	0.000 ± 0.000
Anulação/Revogação de Licitação	0.819±0.099	0.812±0.141	0.530±0.441	0.909±0.063	0.000 ±0.000

[alice7lima]

Act type	BiLSTM-CRF
Contrato e Convênio	±
Aditamento	±
Aviso de Licitação	±
Suspensão de Licitação	0.000 ± 0.000
Anulação/Revogação de Licitação	0.000 ± 0.001

[alice7lima]

Resultados do BiLSTM-CRF com learning rate = 0.0095, units=340 (camada LSTM), e uma camada de droupout entre o BiLSTM e o CRF com valor 0.5:

Act type	Média F1-SCORE
Contrato e Convênio
Aditamento
Aviso de Licitação
Suspensão de Licitação	0.692
Anulação/Revogação de Licitação	0.838

[alice7lima]

Act type	Média F1-SCORE
Contrato e Convênio	1.097075779191742e-05
Aditamento	0.8946
Aviso de Licitação	0.8716
Suspensão de Licitação	0.6539
Anulação/Revogação de Licitação	0.5962

resultados para extrato de contrato/convênio com learning rate de 0.0095 (otimizador adam): 1.097075779191742e-05

[viniciusrpb]

• Treinar modelo apenas para os extratos de contrato e calcular a f1 score
• Treinar modelo apenas para os extratos de convênio e calcular a f1 score
• Treinar modelo para apenas 50% dos atos de extratos de contrato e convênio combinados

[alice7lima]

• treinar novamente os outros modelos que já tinham sido finalizados com os melhores hiperparâmetros para cada tipo de ato

Resultado de tuning de hiperparâmetros por modelo e tipo de ato

Learning rate	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM	BiLSTM-CRF
Contrato e Convênio	0.0095	0.0095	0.0095
Aditamento	0.0095	0.0095	0.0095	0.008
Aviso de Licitação	0.0095	0.0095	0.0095	0.008
Suspensão de Licitação	0.0095	0.0095	0.0095
Anulação/Revogação de licitação	0.0095	0.0095	0.0095	0.0095

Units (LSTM)	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM	BiLSTM-CRF
Contrato e Convênio	260	340	340
Aditamento	300	240	340	230
Aviso de Licitação	420	340	140	230
Suspensão de Licitação	100	260	260
Anulação/Revogação de Licitação	100	260	260	340

crf (sklearn)

Ato	c1	c2
Extrato de Contrato/Convênio	0.10944030135252027	0.023000698277986002
Aditamento	0.0773648413638226	0.1447210224845763
Aviso de Licitação	0.0629372059152714	0.05107159431960365
Suspensão de Licitação	0.7528921159326077	0.10201571404727755
Anulação/Revogação de Licitação	0.11810335266700388	0.006901434381622515

Resultados	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM	CRF	BiLSTM-CRF
Contrato e Convênio	0.854	0.866	0.877	0.860
Aditamento	0.758	0.853	0.857	0.841	0.894
Aviso de Licitação	0.841	0.848	0.878	0.905	0.871
Suspensão de Licitação	0.832	0.759	0.770	0.893
Anulação/Revogação de Licitação	0.845	0.809	0.823	0.909	0.838

[alice7lima]

fechando o card, dois novos cards atualizados foram criados.