Fasand
commented
4 years ago At neotviram novy issue, tak to hodim sem, protoze to tenhle issue vlastne zahrnuje: obecne je ted po vsech moznych zmenach problem s generovanim seminek, je to ukrutne pomale a zrejme jsou tedy i problemy se spravnosti.
Modely v harvests.models
HarvestAbstractModel
- get_blacklisted
- get_custom_seeds
- get_custom_sources_seeds
- get_seeds
- get_harvests_by_frequency
Harvest
- get_topic_collections_by_frequency
- get_previously_harvested_seeds
- get_seeds_by_frequency
- get_tests_seeds
- get_oneshot_seeds
- get_archiveit_seeds
- get_topic_collection_seeds
- get_seeds
- freeze_seeds
TopicCollection(HarvestAbstractModel)
-
TopicCollection nema vlastni metody, pouze inherituje z abstract modelu
Toto je aktualni seznam metod, ktere se pouzivaji ve skliznich na generovani vysledneho seznamu seminek. V abstract modelu se resi custom seeds & sources, tedy mimosystemova seminka a manualne prirazene zdroje. Zaroven se pres nej generuje blacklist a ta funkce se aktualne vola asi 6x, coz je samozrejme vice nez "neoptimální".
Samotna sklizen potom ma spoustu dalsich funkci na vygenerovani konkretnich typů seminek, napr OneShot, ArchiveIt apod., pro ktere je potreba i metoda get_previously_harvested_seeds, ktera proleze vsechny starsi sklizne a z nich vytahne vsechna seminka, aby se pro OneShot a ArchiveIt nemusela znovu sklizet. To je samozrejme hodne pomala operace, pokud v minulosti existuje spousta sklizni, ktere treba jeste nemaji zmrazena seminka, tedy ulozena textove do databaze.
Rychlost/efektivita implementace
Pro zrychleni me napada par reseni: funkce jako get_blacklisted a get_previously_harvested_seeds by se nemusely volat nekolikrat, pokud si sklizen žádá o vsechna seminka, coz by to uz docela vyrazne zrychlilo.
Treba prave get_previously_harvested_seeds by se ve spouste pripadech nemusela volat vubec, pokud ve sklizni nejsou zadna OneShot nebo ArchiveIt seminka, coz by ale ted uz taky mela delat a i presto nacteni jednoho custom zdroje a jednoho custom seminka mi na lokale trva nejakych 13 sekund, protoze se pocita i vse ostatni.
Proc to je teda takhle pomale: kdyz jsem funkce psal, pocital jsem s modelem z nejake poloviny #468 kde jsem to pochopil tak, ze pro kazdy typ seminek (OneShot, jednou rocne, ...) bude samostatna URL a k temto URL se bude pristupovat postupne.
Pokud tedy chci z dneska jenom custom seminka a zdroje, nactu si /seeder/harvests/2020-06-04/seeds-2020-06-04-VNC.txt a ta mi na lokale bezi nejakych 33ms...
Jak se to tedy bude sklizet?
Z tech poslednich uprav jsem tak pochopil, ze tyto rozdelene URL na jednotlive typy sklizni se vlastne pouzivat nebudou, takze tam zustanou jenom lezet a primarne se bude pouzivat format "sklizeň -> všechna semínka".
Pokud tomu tak tedy bude, tak pridam do generovacich funkci nejakou optional memoizaci, aby se treba blacklisty nacetly jen jednou a potom se posilaly pres parametr funkce a podobne s previously harvested seeds.
Kazdopadne taky projdu na cem to ted nejvic visi i kdyz se sklizi treba jen dve seminka, takze provedu nejake obecne potrebne zrychleni.
K puvodnimu issue:
K produkcnimu Webarchivu nemam pristup, takze to nemuzu moc zkontrolovat (zlobi to treba i nekde na testovacim?), ale na lokale se mi nacitaji jak custom seminka tak zdroje.
Je mozne, ze treba ten custom zdroj nema archivovaci stav (teda je treba v jednani nebo neco takoveho)? Pripadne ze by ta seminka mela nastavene datum sklizeni?
mariehaskovcova
JanMeritus
při kombinaci "mimosystémových semínek" a "přiřazených zdrojů" zlobí generování seznamu URL adres - nejsou tam všechny. Viz např.: https://webarchiv.cz/seeder/harvests/136/detail (v seznamu jsou pouze mimosystémová semínka, manuálně nadefinovaný zdroj chybí)