Realizar treinamento, validação e teste da LSTM e CNN usando word2vec

[HaraHeique]

Usar os seguintes word2vec:

• google news;
• wikipedia.

OBS.: Lembrar de alterar o max_seq_length para gerar a matriz de incorporação de palavras de forma correta.

Link para downloads dos modelos

[HaraHeique]

• Todos os testes realizados foram feitos usando LSTM, pois se eu fizesse com CNN iria ter que fazer mais 6 testes, os quais iriam demorar bastante tempo e muito provavelmente sem resultados promissores/evolutivos;
• Todos os testes foram realizados com as seguintes parametrizações:
  • Subredes: LSTM;
  • Medidade de similaridade: MANHATTAN;
  • Partição treinamento/validação: 70/30;
  • n_epochs: 50;
  • max_seq_length: definido a partir das informações geradas do histograma do dataset utilizado (cru = 17; sw e sw + lemma = 9).

Google News

Dataset cru

Dataset sem stopwords

Dataset sem stopwords e lematizado

Wikipedia

Dataset cru

Dataset sem stopwords

Dataset sem stopwords e lematizado