search

MetisPrometheus / Data-Bachelor-21V

1 stars 0 forks source link

Lagre Case dictionary til .json fil. #7

Closed Sajkow closed 3 years ago

Sajkow commented 3 years ago

Lønner det seg å lagre 20mb (LP15, BCG og ANNOTATIONS .mat filer) i en json fil? Problemet er at np.arrays ikke lar seg serialisere og lagres som en json fil. Dette kan omgås ved å implementere en metode som endrer dictionaryens np.arrays til vanlige lists. Men hvor lang tid vil dette ta? Hva med padding som er np.inf og sikkert blir oversatt til math.inf eller noe liknende? Kanskje det er bedre å ha to case filer, der den opprinnelige ikke blir endret til np.arrays eller paddet, altså mest likt originalen. Case med np.arrays bruker 0.8KB, hva er minnebruken med vanlige arrays? To casefiler betyr at ekstra annotasjoner/endring på topp/min-punkter og slikt vil måtte lagres på to steder.

Sajkow commented 3 years ago

Lagres nå som Pickle filer.

Sajkow commented 3 years ago

Implementer lagring av metadata filen i det bruker går ut av programmet. Legg også til logikk for å godkjenne en pickle fils integritet (sjekk om denne er fullstendig).

Sajkow commented 3 years ago

Ferdig med dette. Metadata lagres i formatet <datetime.now()>metadata.p i pickle mappe. Slik at man må selv overskrive metadata.p filen med den ønskede <datetime.now()>metadata.p filen i mappen.