Migrace souborů do Fedory

ARUP-CAS / aiscr-webamcr

Archeologická mapa České republiky

https://amcr-info.aiscr.cz/

GNU General Public License v3.0

5 stars 0 forks source link

Migrace souborů do Fedory #38

Closed Najiva closed 3 months ago

Najiva commented 3 years ago

Je třeba napsat novou funkci pro migraci do Fedory (obdoba DocumentGenerator.generate_metadata(*) (vč. možnosti spustit pro konkrétní id a pro konkrétní počet záznamů), která bude vycházet z tabulky soubor. Ta by měla:

[x] Vyhledat nadřazený záznam (sam. nález, projekt, dokument)
[x] V rámci kontejneru nadřazeného záznamu vytvořit kontejner pro soubory, pokud ještě neexistuje
[x] Vybrat soubor z předdefinovaného úložiště na základě jeho názvu (adresa úložiště může být parametrem na vstupu)
[x] Provést antivirovou kontrolu
[x] Přenést soubor do Fedory
[x] Vygenerovat náhledy
[x] V DB aktualizovat pole rozsah, mimetype, path, size_mb a sha_512 podle skutečných údajů načtených ze souboru
[x] Aktualizovat metadata nadřazeného záznamu

pesikj commented 5 months ago

@motyc Tady prosím o specifikaci, jak bude vypadat struktura souborů v úložišti a jak soubor v úložišti dohledat na základě údajů v tabulce.

motyc commented 5 months ago

Úložiště bude ploché (jedna složka na síti) a soubory můžeme na vstupu pojmenovat např. podle primárního klíče (id; tj. např. 123.pdf), ať je to co nejjednodušší. Dataset se bude muset ručně připravit na základě původních dat, takže to bude nejlepší cesta. Původní (správný název) bude v poli "nazev" v DB.

pesikj commented 5 months ago

@motyc Odhad pracnosti: 12 hodin

motyc commented 5 months ago

@pesikj Díky, klidně s tím začněte.

vojtakus commented 4 months ago

Pro ukládání souborů je možno použít složku /opt/data-migrace přístupnou uživateli amcr.

motyc commented 4 months ago

@vojtakus Potvrzuji, že složku vidím a jde do ní nahrávat data. Děkuju.

@pesikj Prosím o popis toho postupu. Zítra bych případně migraci rád zkusil.

pesikj commented 4 months ago

@motyc Dokumentace je v #1851.

motyc commented 4 months ago

Test v0.4.61

V principu to funguje, narazil jsem jen na následující drobné chyby:

[x] save_files_from_storage iteruje v rámci rozsahu, ale nekontroluje, zda nějaké id v DB nechybí. Tím pádem to spadne na prvním souboru v rámci dané řady, kde někdy v historii došlo ke smazání souboru. Je třeba doplnit kontrolu, zda soubor s daným id je v DB a pokud ne, posunout iteraci o číslo výše.
[x] Ve Fedoře nesedí ebucore: hasMimeType (viz https://fedora-test.aiscr.cz/rest/AMCR/record/M-DP-201500023/file/ccd5524c-b52d-4e9b-872e-3916385fcf1b/orig/fcr:metadata).

motyc commented 3 months ago

Test v0.4.70

Snad poslední drobnost:

[ ] soubory v rámci iterace přes rozsah id jsou seřazeny nikoli podle soubor.id, ale podle pole soubor.nazev (jestli jsem to dobře vypozoroval); to je nešikovné kvůli případným chybám, kdy sekvence někde zastaví a bude náročné správně nastavit pokračování od zvoleného záznamu - upravit tak, aby iterovalo vzestupně přes id

motyc commented 3 months ago

@pesikj @vojtakus Nevím proč, ale najednou systém na .30 nevidí složku "/vol/data-migrace". Nevíte někdo, čím to může být? Nezměnilo se něco?

pesikj commented 3 months ago

Já nevím, ale spustil jsem znovu skript prod_deploy.sh a je to zpět.

motyc commented 3 months ago

@pesikj Ok, zkusím znovu...

motyc commented 3 months ago

V pořádku, zavírám