Weighting based on node features is incorrect

[Joeran]

Ich habe die alten Grafiken gelöscht, und nochmal neue erzeugt basierend auf den Daten ab November 2013 (denn ich glaube, Stefan hatte im November noch was geändert), und Default Algorithmen werden ignoriert.

Es ändert sich leider kaum etwas

Gewichtung basierend auf Knotentiefe: Tendentiell könnte man sagen, dass "The more the worse" (also je tiefer ein Knoten, desto geringer sein Gewicht) etwas höhere CTRs hat, als "The more the better". Soweit so gut. Komisch ist aber, dass

1. Die CTR für "Off" niedriger als alle anderen Werte ist. Sie sollte eigentlich irgendwo in der Mitte liegen
2. Runtime relative hoch ist. Wenn kein Weighting vorgenommen wird, sollte die Runtime doch eigentlich deutlich niedriger sein als mit Weighting

Gewichtung basierend auf Anzahl der Kinder Hier scheint kein Trend bei der CTR feststellbar. Soweit ok. Aber auch hier ist die Runtime für Weighting=Off wieder relativ hoch

Gewichtung basierend auf der Anzahl der Siblings: Gleiche Probleme

Gewichtung basierend auf der Anzahl der Wörter: Weighting=Off hat wieder die niedrigste CTR und relativ hohe Runtime.

Um das Problem nochmal deutlich zu machen: Wenn Weighting=Off, dann hat ein Knoten die Gewichtung 1. Für "The more the better", ist die Gewichtung immer >1. Für "The more the worse" ist die Gewichtung immer <1. Die Ergebnisse würden bedeuten, dass es egal ist wie die Gewichtung ist, hauptsache nicht 1. Wir können 0.5 als Gewicht nehmen, oder 0.1, oder 4, oder 20. Egal, hauptsache nicht 1. Das kann nicht sein.

Ich habe die ganze Analyse auch nochmal gemacht nur für Empfehlungen basierend auf 100 Knoten oder mehr (ich dachte mir, wenn man nur 10 Knoten nimmt, ist es egal wie man die Gewichtet). Die Probleme sind ähnlich.

[gkapi]

With Runtime you mean the execution time needed for the recommendations?

[Joeran]

@gkapi yes, exactly, by "runtime" I mean the execution time.