search

slovensko-digital / harvester.ecosystem

App for pushing data to ekosystem.slovensko.digital
https://ekosystem.slovensko.digital
European Union Public License 1.1
20 stars 5 forks source link

Added faraday complete timeout setting for downloading .csv #128

Closed tomasdrga closed 10 months ago

luciajanikova commented 1 year ago

Dam sem len poznamku, nech vieme v akom stave to je. Skusa sa na stagingu, vyskytli sa aj dalsie errory. Pripadne ma oprav @tomasdrga, ak je iny stav.

tomasdrga commented 1 year ago

Ano, timeout je uz fixnuty, musel som zvysit cas a zmenit adapter, no teraz to pada na fetchovani dat z toho .csv

tomasdrga commented 1 year ago

Tak sa mi podarilo, to rozbehnut uz aj na stagingu, jedine co tam nejako neviem dosiahnut je fixnut tie values v .csv kde je diakritika...

luciajanikova commented 1 year ago

Maju tam zly encoding aj celkovo je to CSV opakovane uplne rozbite (oni pravidelne uplne rozbiju formatovanie)🙈. Proti tomuto s nimi bojujeme, neda sa to kazdy mesiac menit. Takze som im este v pondelok pisala, ci by to mohli upratat a dodrzat jednotne formatovanie kazdy mesiac. Takze by som s prisposobenim sa tomuto rozbitemu formatovaniu este chvilku pockala.

tomasdrga commented 1 year ago

Jasne, rozumiem, tak na to este pockame, a ked bude treba este nejako prisposobime :)

tomasdrga commented 1 year ago

@luciajanikova pozrel som formatovanie, opravili to dobre, odskusane v developmente aj na stagingu, a pridal som tam este test case na tuto verziu .csv

luciajanikova commented 12 months ago

FYI Tento job nepustajme pokial si NASES neuprace to CSV. Aktualne nie je rozbite iba formatovanie, ale v datasete aj chybaju asi 2/3 dat, takze to v produkcii nechceme spustat, kym to nedaju do poriadku. Komunikujeme s nimi o tom, ale natahuje sa to ako vzdy.

tomasdrga commented 11 months ago

Update:

@luciajanikova sa tam pravidelne dobíja, takže čakamé keď to fixnú na ich strane.

tomasdrga commented 10 months ago

@luciajanikova pozmenil som tu sťahovanie, kedže to už ide zo .zip, povôdnu funkciu som nechal a pridal novú, ktorá len extrahuje .csv zo .zip ak sa tam nachádza. Upravil som testy aby boli v súlade s aktuálnou verziou webu.

tomasdrga commented 10 months ago

@jsuchal Upravil som vytváranie tých TempFilov. Upravil som, že rovno po stiahnutí .zip sa aj extrahuje. Na základe toho som prispôsobil testy. A keďže už sa sťahuje .zip, tak môžeme tam nechať aj obyč Faraday adapter a funguje. Skúšal som na stagingu.

tomasdrga commented 10 months ago

@jsuchal vedel by si prosim pozriet, ci som to spravne pochopil s tym testom? Uz tam mockujem iba .zip.

tomasdrga commented 10 months ago

@luciajanikova lucka vedela by si prosím mergnúť? ďakujem