search

ARUP-CAS / aiscr-dapro

OAI-PMH Data Provider pro AMČR
https://api.aiscr.cz/
GNU General Public License v3.0
2 stars 0 forks source link

Po importu fotek se neaktualizuje API #73

Closed motyc closed 2 years ago

motyc commented 2 years ago

Po pátečním importu se dosud v API neobjevily importované záznamy. Patrně tak příprava dat selhává. Testovat lze např. na https://api.aiscr.cz/dapro/oai?verb=GetRecord&identifier=https://api.aiscr.cz/id/C-200810918A-DT-01&metadataPrefix=oai_amcr

Tento záznam v AMČR je, ale přes API získat nejde.

pbartosova commented 2 years ago

Chyba nebyla způsobena importem dokumentů ale importem akcí, který proběhl o den dříve. Importem se do DB dostal znak STX (Start of Text, \x02). Invalidní export akcí způsobil, že nová sada exportu nebyla aktualizována. Opraveno včera večer a ranní exporty proběhly už v pořádku.

motyc commented 2 years ago

Děkuji za opravu a vysvětlení.

motyc commented 2 years ago

@pbartosova Ještě se zeptám - vidíš nějakou cestu, jak vytipovat ty potenciálně problematické znaky? Je to nějaká skupina co dělá problémy? Nebo se v souboru obecně vyskytovat mohou, a problém je jen v konkrétním případě užití?

Ještě přidávám @DanaKriv pro info.

motyc commented 2 years ago

Zde jsem našel fajn pomůcku, kde jde ty speciální znaky alespoň zvýraznit: https://www.soscisurvey.de/tools/view-chars.php Je to jednoduchá funkce napsaná v PHP: https://github.com/BurninLeo/see-non-printable-characters/blob/main/view-chars.php

Nešlo by to nějak upravit a použít k té kontrole CSV na vstupu?

image

motyc commented 2 years ago

K prevenci jsem otevřel nové issue na správném místě: https://github.com/ARUP-CAS/aiscr-amcr/issues/142

Toto zavírám.