datoszs / czech-lawyers

Web project with aggregated statistics about advocates from their cases at czech upper courts.
GNU General Public License v3.0
6 stars 0 forks source link

Vyřešit paměťovou náročnost TagResults #241

Open repli2dev opened 4 years ago

repli2dev commented 4 years ago

Paměťová náročnost je velmi pravděpodobně příčinou pádů TagResults CRON jobu.

Nápady:

Logicky vzato by měl mít průběh paměti schody, protože části dat (kromě Causes a výsledných Tagování) by neměl být potřeba...pokud jen lineárně roste, pak je to určitě špatně.

repli2dev commented 3 years ago

@xorelvistor je reálné tomu výhledově do konce roku věnovat čas a prozkoumat možnosti řešení? (Já se k tomu dřív spíše nedostanu, respektive jen kdyby mě napadl nějaký super jednoduchý a použitelný hack.)

@tpapouskova máme nějaký důvod proč to děláme celé tagování v jedné transakci? Z programátorského hlediska to vnímám jako koncepčně správnější, protože vše patří do jedné várky jednoho běhu tagovače... na druhou stranu nám to způsobuje tento problém s paměti, protože se vše musí držet až do potvrzení. (Když bychom to rozvolnili, tak se to v DB sice bude objevovat postupně, ale bude to spárovatelné pomocí ID běhu.)

tpapouskova commented 3 years ago

Já asi žádný důvod nevidím, v jedné transakci se to imho dělat nemusí,