otevrena-data-mfcr / supervizor

Vizualizace výdajů státní správy
http://data.mfcr.cz/supervizor
GNU General Public License v3.0
35 stars 10 forks source link

Import trvá neskutečně dlouho #18

Open SmallhillCZ opened 8 years ago

SmallhillCZ commented 8 years ago

Import dat trvá klidně 15 minut. Při starém Supervizoru trvá do 20s, tudíž není chyba v databázi, nevíte někdo čím to může být? (v Doctrine ani Nette se moc nevyznám)

castamir commented 8 years ago

Pravděpodobně Doctrine. Nette má s importem společného minimum. Doporučuji zapnout profiler nad databází, co se tam vlastně tvoří za operace.

SmallhillCZ commented 8 years ago

kouknu se, až budu u soukromého PC, díky.

// zatím mě z kódu přijde, že to asi vkládá po jednom a rovnou do relační hierarchie, zatímco předtím se to vkládalo do DB po 3000 řádcích na request a následně se to do relační hierarchie předělávalo pěti group SQL dotazy (právě kvůli rychlosti), ale to je jen teorie, reálně budu vědět až z toho profileru

Salamek commented 8 years ago

@SmallhillCZ @castamir vse bylo prepsano hlavne s cilem co nejdrivejsi plne funkcnosti(aby byl stary kod co nejdrive v kosi), s optimalizacemi sem si vazne hlavu nelamal... (Hlavne u importu) Na druhou stranu, ani hodinu bezici import v cronu asi nikoho trapit nebude kdyz se bude spoustet denne... ale pokud to nekdo spousti manualne pro test tak asi umre starim :-D Rad bych doladil hodne veci na tomhle projektu, ale neni cas, posledni dobou jen spim a programuju

SmallhillCZ commented 8 years ago

@Salamek Jasný, chápu. Zkusím to nějak odladit. Já tu zas mám většinou spoustu jiných prioritnějších věcí.

//Chceme do Supervizoru (konečně) zapojit více minsterstev a aby to bylo už na Nette verzi. Kromě testování je problém i produkce, protože máme dost omezený přístup na server (jen FTP/Samba), tak budu muset dohodnout zvýšení limitů na běh skriptu s IT. Holt je to cena za to, že jsme to udělali dost punkově, ale zase to vůbec je.