Bericht (3. Klassifikation des Objekttyps (1/4))

[hariveliki]

• [x] Entwickle 3 Modelle

• [x] Vergleiche 3 Modelle https://github.com/Immobilienrechner-Challenge/classification-objecttype/blob/main/compare_models.ipynb

• [x] Was sind sinnvolle Metriken zur Messung der Genauigkeit der Vorhersage im vorliegenden Fall?

• [x] Was ist zu beachten um eine gute Abschätzung des Fehlers für neue Daten zu bekommen?

• Scores erklären

• Sinnvollster Score für neue Daten

• [ ] Rapportiere diese Metrik(en) mit einer Abschätzung des Fehlers für alle drei Modelle.

• Zusammenfassung der Metriken zu jedem Modell

• [x] Erstelle ein Notebook https://github.com/Immobilienrechner-Challenge/classification-objecttype/blob/main/compare_models.ipynb

• [ ] Erstelle Bericht

• Feedback Fernando Thursday 6. December

• [x] Dezimal nicht mit Prozent schreiben

• [x] Confusion Matrix plotten

• [x] Diverse Anmerkungen zu MLP (Gabu hat Notizen gemacht)

• [x] Optional - Cross Validation für K Neighbour Classifier

[hariveliki]

@alexfhnw model comparison is available

[gabrieltorresgamez]

• [x] F1 Score
• [x] confusion matrix/
• [x] scores/
• [x] cross validation (GridSearchCV evtl?) -> bezieht sich auf "Was ist zu beachten um eine gute Abschätzung des Fehlers für neue Daten zu bekommen?" @hariveliki

[gabrieltorresgamez]

Scores hinterlegen @hariveliki :

• [x] F1
• [x] Precision
• [x] Recall
• [x] Accuracy

[gabrieltorresgamez]

Peer Review @gabrieltorresgamez Tasks for @hariveliki

• [x] Gabriel Torres FHNW: bim pytorch loss plot d y range ahpasse
• [x] Gabriel Torres FHNW: bim k neighbours luege, dass du nöd die plz date verwendisch, da susht s modell schlechter wird Gabriel Torres FHNW: beziehigswiis wie bi mim jupyter nb nur 4 features und 1 zielvariable -> # TODO y_val is not numeric -> use from sklearn.preprocessing import OneHotEncoder
• [x] Gabriel Torres FHNW: bim random forest ishs wahrschiinlich s gliiche problem -> # TODO y_val is not numeric -> use from sklearn.preprocessing import OneHotEncoder
• [x] Gabriel Torres FHNW: und bim random forest luege welli hyperparameter alles optimiere chasch
• [x] Gabriel Torres FHNW: evlt grad mit gridsearchCV, so machsch grad CV dezue

[hariveliki]

Call mit Alex Freitag 25.11.25 15:00 Uhr Hint für Feature Selection Begründung: https://www.statology.org/variance-inflation-factor-r/

• [x] Bei den Print Statements noch Begründung für Feature Selection hinterlegen @hariveliki @alexfhnw siehe Antwort von Gabriel: Gabriel Torres FHNW: tbh hani dezue kei begründig Gabriel Torres FHNW: zip code zum wiiteri features hole Gabriel Torres FHNW: und die anderi willi denkt han dass die am meiste infos gebed

[gabrieltorresgamez]

Feedback von Fernando an mir: Beim NN verschiedene Anzahl Layers und Nodes ausprobieren Batchsize anpassen Confusion Matrix bei allen classifier erstellen

[obsidionn]

Draft des Berichts ist im doc repo. Dort erkläre ich, weshalb der F1, MCC und ROC AUC für uns relevante Scores sind. Für das Neural Network konnte ich die Scores entsprechend implementieren, für KNN und Random Forest noch nicht, da ich auf Probleme gestossen bin. @hariveliki kannst du für

• [x] KNN den MCC und ROC AUC Score
• [x] Random Forest den MCC und ROC AUC Score jeweils berechnen und ausgeben? Achtung: mir ist aufgefallen, dass aktuell z.B. bei der Berechnung vom
• [x] F1 Score beim KNN die y_true und y_pred parameter vertauscht sind.

[gabrieltorresgamez]

@hariveliki Metriken als

• [x] weighted und als
• [x] micro und
• [x] macro implementieren

[gabrieltorresgamez]

• [x] @alexfhnw und @hariveliki Berichtübergabe durchführen

[hariveliki]

• [x] change param scoring = "f1_weighted" to macro
• [x] add MCC and ROC AUC to HistGradient
• [x] add micro macro to HistGradient

[hariveliki]

• [x] NN vs random macro diff??
• [x] Zu jeder Zeile 1-2 Sätze

[gabrieltorresgamez]

@hariveliki was ist hier der stand? @gabrieltorresgamez habe keine Erklärung gefunden für

schaus dir mal an bei Gelegenheit

[gabrieltorresgamez]

@7ben18 README überprüfen