Realizar busca de melhores parâmetros/hiperparametros da rede usando hyperas

[HaraHeique]

• Buscar os melhores parametrizações da rede utilizando a ferramenta hyperas: https://github.com/maxpumperla/hyperas
• Refatorar a rede LSTM usando configurações parecidas com a rede da Larissa;
• Fazer um código separado do modelo da rede diferente do atual (training.py) em um notebook jupyter, pois é necessário realizar algumas modificações tanto em estruturas de dados quanto em lógica para melhoria e seguir as particularidades do hyperas.

[HaraHeique]

Todo o código fonte foi implementado na branch hyperas-otimizacao-hiperparametros usando a ferramenta Jupyter Notebook. O código fonte do notebook criado no jupyter pode ser encontrado no pacote (diretório) chamado hyperparameters_optimization.

[HaraHeique]

@Fideliszan

Alguns resultados do processo de treinamento utilizando o otimizador de hiperparâmetros hyperas para as seguintes arquiteturas das subredes da rede siamesa foram:

LSTM Manhattan

CNN

biLSTM

Perceba que a partir dos gráficos a biLSTm tem o resultado mais coerente e estável que todas as outras. Logo pode ser uma candidata após um processo de melhoria/tuning de parâmetros/hiperparâmetros da rede siamesa.

OBS.: todos os testes foram feitos utilizando medida de similaridade Manhattan e o dataset cru (raw) usando a partição 70/30 ou 80/20.

[HaraHeique]

Uma melhoria que pode ser realizada no código do notebook que usa o hyperas, é na determinação do tipo de arquitetura através de funções internas da função _createmodel(). Pode-se passar como argumento o nome da arquitetura e seu modelo e retornar o modelo com a arquitetura em si. Entretanto o código implementado já resolve o problema que a tarefa (este card) pretende resolver, ficando o ajuste como uma melhoria futura.