Perf-probleme beim Aggregieren durch viele Boards

enkore / potstats2

pOTStats 2.0, ein pOTsches Informationsportal

https://potstats2.enkore.de

European Union Public License 1.2

4 stars 1 forks source link

Perf-probleme beim Aggregieren durch viele Boards #25

Closed enkore closed 6 years ago

enkore commented 6 years ago

Jetzt sind alle öffentlichen Foren in den Daten drin, aber dadurch explodiert natürlich die Anzahl der zu aggregierenden Zeilen für die Statistiken, die nach (bid, year) gruppiert sind.

Sowas wie /api/weekday-stats dauert jetzt ~5.5 s.

[x] Cache priming
[ ] Dogpile locking
[x] Evtl. die active_users Geschichte nochmal angehen. z.B. die RoaringBitmaps bereits in -analytics bauen und im Backend nur noch kombinieren. Könnte auch die Tabellengröße deutlich verkleinern.

enkore commented 6 years ago

20c89b8e (~3-4 mal schneller als vorher) 347f1a3

und ~/app/prime_cache.sh