Regularizar os pesos da rede no processo de treinamento da rede

[HaraHeique]

Alterar os pesos da rede a fim otimizá-la. Para isto deve modificar os seguinte hyperparâmetros da rede:

• kernel_regularizer: Regularizer to apply a penalty on the layer's kernel
• bias_regularizer: Regularizer to apply a penalty on the layer's bias
• activity_regularizer: Regularizer to apply a penalty on the layer's output

Link da documentação do Keras:

• https://keras.io/api/layers/regularizers/

[HaraHeique]

@Fideliszan

A mudança no código para definição dos pesos são tranquilas pelo menos na rede LSTM, como mostrado na imagem abaixo.

Este foi o resultado da curva definindo pesos que peguei na própria documentação que foram determinados de maneira aleatório. Logo, como é mostrado no gráfico, não deve ser os melhores pesos. Assim como não tenho conhecimento de quais seriam os melhores pesos para tais condições poderiamos analisar melhor para defini-los.

Os pesos definidos foram os seguintes:

Outra coisa também que poderia fazer é colocar um conjunto de pesos para que o hyperas escolha qual é o melhor em dada situação (para X dataset e Y word embedding).

OBS.: O único teste feito foi com o dataset cru, função de Manhattan e partição 70/30. Não foi feito outros testes devido o tempo de processamento para cada época. Isto ocorreu principalmente pela adição desses pesos.

[HaraHeique]

@Fideliszan

Resultados de treinamento com dataset sem stopwords e sem stopwords + lematizado:

Ambos realizados com os hiperparâmetros provenientes do hyperas que foi feito utilizando o dataset cru. Logo seria necessário rodar novamente o hyperas para estes outros datasets e usando o mesmo word embedding.