RNN ähnliches Modell zur Klassifikation

[buesst1]

Description

In diesem Task soll ein weiteres Modell zur Text-Klassifikation trainiert werden. In diesem Ansatz wird im Gegensatz zum Transformer in NLP-Challenges/Text-Classification#10, eine RNN basierte Architektur ausprobiert.

Akzeptanzkriterien

• [x] EDA
• [x] Modellarchitektur steht
• [x] Modell ist in der Lage, Daten aufzunehmen (Overfitting auf Subset)
• [x] Modell ist trainiert
• [ ] Quantitative Analyse abgeschlossen (Confusion-Matrix / F1-Score, Accuracy, ROC)
• [ ] Qualitative Analyse abgeschlossen (ausgew. Datenpaare)
• [ ] Für Report: Wie sieht Modellarchitektur aus
• [ ] Für Report: Theorie hinter der Modellarchitektur
• [ ] Für Report: Weshalb wurde diese Architektur gewählt
• [ ] Für Report: Welche Metriken wurden benutzt und weshalb sind diese geeignet (F1-score, Accuracy, ...?)
• [ ] Für Report: Wie viele Daten werden benötigt
• [ ] Für Report: Diskussion der Resultate (mit einzelnen Predictions auf ausgewählten Datenpaaren)
• [ ] Für Report: Verbesserungsvorschläge des Systems

Additional Information

Möglicher Ansatz -> CNN mit anschliessendem LSTM / Bi-LSTM / GRU Ergebnisse der einzelnen Modelle miteinander vergleichen.

[buesst1]

Update EDA des training datensets gestartet

• Anzahl Observationen nach Klasse
• Verteilung der Word-Counts
• WordPiece Tokenizer ausprobiert

Nächste Schritte

• Worthäufigkeitsdiagramme
• Wordclouds
• Häufigkeit von Wortkombinationen (n-grams)
• Latent Dirichlet Allocation (LDA) oder Non-negative Matrix Factorization (NMF) für topics?
• Sentiment analysis?
• TF-IDF analyse (welche Tokens sind wichtig für ein label)
• Spelling correction?

[buesst1]

Update

• EDA des Training-Dataset soweit abgeschlossen
• Modell Architektur ausgewählt und grob aufgesetzt

Nächste Schritte

• Modell Architektur fertig implementieren
• Overfitting auf Subset
• Begründungen ausführen