Calcular o coeficiente de Pearson, coeficiente de Spearman e MSE no processo de predição da rede siamesa

[HaraHeique]

Segundo as pesquisas do professor @Fideliszan grande maioria dos artigos científicos tem o problema similar ao do TCC utilizam as seguintes medidas de avaliação do modelo na etapa de predição (testes):

• Coeficiente de Pearson;
• Coeficiente de Spearman;
• MSE.

Logo o ideal é saber como calculá-los usando Keras/Tensorflow e por fim apresentar os resultados.

Links dos artigos:

• https://aclanthology.org/R19-1116.pdf
• https://hal.archives-ouvertes.fr/hal-01779457/document
• https://www.researchgate.net/publication/339447881_Exploiting_Siamese_Neural_Networks_on_Short_Text_Similarity_Tasks_for_Multiple_Domains_and_Languages
• https://www.researchgate.net/publication/307558687_Siamese_Recurrent_Architectures_for_Learning_Sentence_Similarity

[HaraHeique]

@Fideliszan

Links importantes relativos aos cálculos das métricas, explicações sobre elas e como implementar:

Coeficientes de Pearson e Spearman

• https://realpython.com/numpy-scipy-pandas-correlation-python/#example-numpy-correlation-calculation
• https://machinelearningmastery.com/how-to-use-correlation-to-understand-the-relationship-between-variables/
• https://towardsdatascience.com/feature-selection-with-pandas-e3690ad8504b

Segundo um dos links o que mais entendi o seguinte tanto para o coeficiente Pearson quanto para o Spearman é o seguinte:

The correlation coefficient has values between -1 to 1

• A value closer to 0 implies weaker correlation (exact 0 implying no correlation)
• A value closer to 1 implies stronger positive correlation
• A value closer to -1 implies stronger negative correlation

Também que o Pearson é voltado para correlações lineares. Já o Spearman são não lineares.

MSE (Mean Squared Error)

• https://scikit-learn.org/stable/modules/generated/sklearn.metrics.mean_squared_error.html
• https://www.tensorflow.org/api_docs/python/tf/keras/metrics/mean_squared_error

Segundo o que pesquisei sobre MSE temos o seguinte:

• The mean squared error (MSE) tells you how close a regression line is to a set of points;
• There is no correct value for MSE. Simply put, the lower the value the better and 0 means the model is perfect.

[HaraHeique]

@Fideliszan

Até então alguns resultados não foram tão satisfatórios, mas realizar os treinamentos utilizando o otimizador hyperas. Alguns dos resultados que podem ser visualizados através da planilha criada (implementada para o card #41) são esses:

E os resultados da média da predição dos autores para cada uma das linhas da imagem CSV mostrada logo acima são respectivamente:

O qual a última imagem foi um teste realizado utilizando os hiperparâmetros já coletados em testes passados no hyperas o qual é:

Evalutation of best performing model: 113/113 [==============================] - 7s 63ms/step - loss: 0.3139 - accuracy: 0.5303 [0.3139163553714752, 0.5302777886390686] Best performing model chosen hyperparameters: {'Activation': 'elu', 'Dropout': 0.587606728324542, 'Dropout_1': 0.3746350041674067, 'LSTM': 256, 'kernel_initializer': <tensorflow.python.ops.init_ops_v2.GlorotNormal object at 0x7f622fcd8cc0>, 'loss': <tensorflow.python.keras.losses.MeanSquaredError object at 0x7f622fcd8710>, 'optimizer': <tensorflow.python.keras.optimizer_v2.gradient_descent.SGD object at 0x7f622fcd0898>} epochs: 20

Com o seguinte comportamento no gráfico de acurácia e loss obtido no treinamento:

Não foram ótimos resultados, mas o comportamento da curva foi a mais interessante dentre as outras. É tão interessante que o segundo resultado mostrado da matriz a rede teve uma acurácia de treinamento máxima de quase 90% e acurácia de validação de pouco mais de 58%, mas com péssimos resultados em geral.