Finalização do TCC

[HaraHeique]

Alterações número de épocas dos treinamentos

• Raw
  • 17: não mexer;
  • 10: testar até 30/35 épocas e pegar o limite de saturação;
  • 14: não mexer.
• SW
  • 9: não mexer;
  • 5: não mexer;
  • 7: testar até 30/35 épocas e pegar o limite de saturação;
• SW + Lemma
  • 9: não mexer;
  • 5: não mexer;
  • 7: não mexer;

Experimentos para treinamento, validação e testes

• Realizar os experimentos no computador do IFES (IP: 200.137.75.154);
• 20 vezes de todos os datasets (raw, sw e sw + lemma) e tirar a média aritmética simples e o desvio padrão dos resultados para montar as tabelas de similaridades de cada dataset.

OBS.: Para cada vez que é feito o treino é necessário fazer o teste também. Logo treina obtêm os resultados de treinamento e validação e depois já testa baseado nesses resultados e no modelo salvo da rede (arquivo .h5) e assim sucessivamente até para cada vez até dar as 20 vezes. No final das 20 vezes fazer a média de seus resultados, assim como o desvio padrão (somente na tabela de testes, não é necessário no treinamento/validação).

[HaraHeique]

Organização dos datasets para as 20 rodadas

Treinamento

accuracy,val_accuracy,loss,val_loss 1 - arr_accur1,arr_val_accu1,loss_val_val1,val_loss1 2 - arr_accur2,arr_val_accu2,loss_val_val2,val_loss2 ...

Predição (teste)

f-f,f-h,f-r,h-f,h-h,h-r,r-f,r-h,r-r 1 - 12,32,43,54,12,43,54,12,43 2 - 12,32,43,54,12,43,54,12,43 ...

[HaraHeique]

Principais hyperparâmetros definidos pelo hyperas

Best performing model chosen hyperparameters: {'Activation': 'selu', 'Dropout': 0.24697647633830466, 'Dropout_1': 0.8228431108922754, 'Dropout_2': 0.06536980304050743, 'LSTM': 128, 'activation': 'softsign', 'batch_size': 64, 'clipnorm_choice': 1.5, 'epochs': 20, 'kernel_initializer_choice': <tensorflow.python.keras.initializers.initializers_v2.GlorotNormal object at 0x0000019208BD6048>, 'loss_choice': <tensorflow.python.keras.losses.MeanSquaredError object at 0x0000019207F0CB70>, 'lr_choice': 0.1, 'optimizer_choice_option': 'Adadelta', 'recurrent_activation': 'hard_sigmoid', 'recurrent_activation_1': 'sigmoid'}

OBS.: Todos os treinamentos são utilizando função de similaridade Manhattan e Word embedding w2v da google news.

resultados_hara_hyperas_2.txt

[HaraHeique]

Comando para rodar o main.py como módulo de bootstrap do código adaptado na branch test/experimentos-server-ifes para ser executado via ssh no server do ifes (pode ser rodado no visual code também):

python3 -m src.main

OBS.: execute o comando acima dentro do diretório raiz da aplicação (TCC-rede-neural-siamesa)