Experimentos NER com k-fold

[alice7lima]

• [x] Extrato de Contrato
• [x] Aditamento
• [x] Aviso de Licitação
• [x] Aviso de Revogação/Anulação de Licitação
• [x] Aviso de Suspensão de Licitação
• [x] Extrato de Convênio

Resultados preliminares:

[viniciusrpb]

Continuar com o script do Matheus por questões de desempenho Reunir com a Lucelia para comparar os resultados obtidos com CRF weak e CRF com features functions manuais

[alice7lima]

Planejamento da continuidade dos experimentos

Hiperparâmetros atuais:

• Otimizador: adam

• Learning rate: 0.0095

• Epochs: 22

• Batch size: 12

• [x] Utilizar early stopping levando a consideração a loss (analisar quais escolhas produzem melhores resultados), aumentar o número de épocas para 50

• [x] Juntar os extratos de convênio com os de contrato

• [x] Verificar as features do CRF e analisar se pode-se adicionar mais

• [x] Construir novamente a tabela de resultados do k-fold conforme as mudanças acima

[alice7lima]

resultados CRF: https://pt.overleaf.com/1159292484mcgcqtcycmnd

[alice7lima]

Resultado de tuning de hiperparâmetros por modelo e tipo de ato

Learning rate	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM
Contrato e Convênio	0.0095	0.1	0.1
Aditamento	0.0095	0.0095	0.1
Aviso de Licitação	0.0095	0.1	0.0095
Suspensão de Licitação	0.0095	0.0095	0.0095
Revogação de Licitação	0.0095	0.1	0.0095

Units (LSTM)	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM
Contrato e Convênio	260	340	340
Aditamento	300	220	340
Aviso de Licitação	420	340	140
Suspensão de Licitação	100	260	260
Revogação de Licitação	100	340	260

[alice7lima]

Desempenho geral dos modelos por ato Learning rate	Act type	Word2Vec-LSTM	CNN-LSTM	CNN-BiLSTM	CRF	CNN-BiLSTM-CRF
Contrato e Convênio	0.847±0.022	0.856±0.020	0.865±0.031	0.860±0.029	0.000 ± 0.000
Aditamento	0.710±0.066	0.826±0.029	0.854±0.021	0.841±0.043	±
Aviso de Licitação	0.890±0.014	0.878±0.009	0.867±0.045	0.905±0.011	0.061±0.122
Suspensão de Licitação	0.849±0.039	0.724±0.040	0.615±0.313	0.893±0.032	0.000 ± 0.000
Anulação/Revogação de Licitação	0.819±0.099	0.812±0.141	0.530±0.441	0.909±0.063	0.000 ±0.000