search

NHMDenmark / DanSpecify

Important files regarding the Danish instance of the Specify database system for collections digitisation and management, plus placeholder for issue tracking. Guidelines, manuals and other kinds of documentations will be gathered on the wiki.
3 stars 3 forks source link

Import of metadata and images of complete NHMD collection of Maculinea Alcon #89

Open adjordan74 opened 3 years ago

adjordan74 commented 3 years ago

@Sosannah (Cc: @Andersillum, @FedorSteeman )

I've just received attached metadata from M.Sc. thesis on image analysis of the butterfly wing coloration. The study was conduced by Philip Folman unser the supervision of David Nash. The entire NHMD collection of M. Alcon was studied and photographed along with the collections from Aarhus.

For each specimen two images were taken (dorsal + ventral), and resulting TIFF images are named by our NHMD-code. Furthermore, a QR code is embedded in each image.

'NHMD-227368_D_20181009_104934_2' 'NHMD-227368_V_20181009_105107_0'

  1. Would it be feasible to map out the attach sheet and import to Specify.
  2. Are stub records numbers valid?

It would be desirable to include for the Portal, as the data are rich of images.

Best regards Anders

data.xlsx

Andersillum commented 3 years ago

Hej alle 3,

Jeg har lige kigget dataen igennem, det kræver desværre en del oprensning, før det kan importeres til Specify. Jeg er gået lidt i gang med det (se vedhæftning). @adjordan74 har du mulighed for at give mig adgang til det drev hvor billederne ligger? Så er det lidt nemmere at tjekke labels :-) Evt. også det drev hvor vi har de andre sommerfuglebilleder ligger?

Mvh. Anders

M. alcon - Philip Folman.xlsx

adjordan74 commented 3 years ago

Hej @Andersillum @Sosannah @FedorSteeman

Tusind tak for at se så hurtigt på det! Billeder ligger på ERDA.dk - men systemet har et meget lang latent tid, så måske vil det være lettere at få fingre i dem på en harddisk (workable). Jeg tjekker lige. Mere snart. Best Anders

NHMD-227374_D_20181017_094647_Stacked_0

Sosannah commented 3 years ago

Hi, looking the data, it seems doable. At least, it is not as messy as the Zooniverse database. :) And the images have a neat naming policy, so it would be feasible to include them, I guess. Thanks, @Andersillum for checking the labels!

Bests, Zsuzsanna

FedorSteeman commented 3 years ago

I think it's best to leave this to @Sosannah now that she's on a roll. 😊

FedorSteeman commented 3 years ago

@Sosannah Remember to move from column Approved to "In Progress", once you get started on it.

adjordan74 commented 3 years ago

Hi all, Im receiving all M.Alcon images on a harddrive from Philip Folman next week, latest. The ERDA interface is abit of a pain to retrieve from, and each image stacked is (240MB) or singular approx 43MB as .awr format (sony raw format). So i think the easiest is to get hand on them via harddrive, and then drop to I://...imagerepro on our shared drive. For portal upload we should consider a down-conversion.

Andersillum commented 3 years ago

Hej @adjordan74,

Tilbage i 2013 blev SNM's typer digitaliseret (før min tid). De originale fotos er lagt på I-drevet SCIENCE-SNM-SAMLING i mappen "I:\SCIENCE-SNM-SAMLING\SNM specimen foto". Måske M. Alcon billederne bare skal overføres til samme mappe? Jeg kan se at det Grønlandske Herbarium (2019) også er lagt der. Hvis du ikke har adgang til drevet, så er det vidst Christian Lange som har oprettet det og kan give dig/jer adgang.

Mvh. Anders

FedorSteeman commented 3 years ago

The ERDA interface is abit of a pain to retrieve from, and each image stacked is (240MB) or singular approx 43MB as .awr format (sony raw format). So i think the easiest is to get hand on them via harddrive, and then drop to I://...imagerepro on our shared drive. For portal upload we should consider a down-conversion.

I have no idea why people are using ERDA. I have a major headache getting the images down from Natalie's project.

FedorSteeman commented 3 years ago

Tilbage i 2013 blev SNM's typer digitaliseret (før min tid). De originale fotos er lagt på I-drevet SCIENCE-SNM-SAMLING i mappen "I:\SCIENCE-SNM-SAMLING\SNM specimen foto". Måske M. Alcon billederne bare skal overføres til samme mappe? Jeg kan se at det Grønlandske Herbarium (2019) også er lagt der. Hvis du ikke har adgang til drevet, så er det vidst Christian Lange som har oprettet det og kan give dig/jer adgang.

Er det en anden mappe end I:\SCIENCE-SNM-Samling-ImageRepo ?

Andersillum commented 3 years ago

Ja, jeg har ikke adgang til ImageRepo.

adjordan74 commented 3 years ago

Hej @Andersillum @Sosannah @FedorSteeman Jeg modtager alle billeder af Blåfugle samlingen mandag eftermiddag på en harddisk. 1) Jeg overfører originaler til drev du/I har adgang til. 2) stacked billeder (a 240 MB / Tiff) bør konverteres til Portal. Tænker at vi kan bruge MediaEncoder, og lave en portal mappe.

Andersillum commented 3 years ago

Hej @adjordan74,

Jeg håber, at vi også kan uploade de originale Tiff'er til specify. Foto forespørgelser fra forskere rundt omkring i verden er ofte på tiff versioner, da de ikke er komprimeret.

Er billederne stacked? Ellers har vi Zerene Stacker som kan batch-stacke.

FedorSteeman commented 3 years ago

Er billederne stacked? Ellers har vi Zerene Stacker som kan batch-stacke.

Jeg fik en masse billeder fra Daniel, som er TIFF'er, men også lagdelt. Lagdelingen skal fjernes før de kan importeres ind i Specify, som kun kan håndtere flade billedfiler.

adjordan74 commented 3 years ago

Hej @Andersillum @FedorSteeman @Sosannah Jeg har nu fået alle M. Alcon billeder fra Philip Folck NHMD specimens 41 GB der er også billeder fra NHMa (Aarhus) - 35 GB.

Hvor foretrækker i at jeg lægger dem / lettest adgang for jer?

Mvh Anders

Skærmbillede 2021-05-12 kl 08 14 50 ?

mvh Anders

Andersillum commented 3 years ago

Hej @adjordan74 Hvis du har mulighed for det ville jeg foretrække I:\SCIENCE-SNM-SAMLING\SNM specimen foto

Dem fra Århus skal vel sendes til Århus. Du kan evt. bruge onedrive hvor vi har ubegrænset plads.

adjordan74 commented 3 years ago

Hej @Andersillum Overfører nu til I:...Specimen foto - folderen. De ligger der om 20-30 min.

FedorSteeman commented 3 years ago

Jeg har allerede overført dem fra Erda til I:\SCIENCE-SNM-Samling-ImageRepo\Specify Batch Upload\Ready\ENT\ERDA

FedorSteeman commented 3 years ago

Jeg ser ikke ud til at have adgang til I:\SCIENCE-SNM-SAMLING\ Jeg har prøvet at bestille på KU IT Self Service, men jeg kan ikke finde og vælge mit brugernavn... Er der en smutvej til at jeg kan få adgang?

adjordan74 commented 3 years ago

Hej @FedorSteeman

KUIT self service har knas med den funktion lige nu. Eneste måde at få adgang er at ringe 35323232 og manuelt oprette sagen. Nyadgang, ansat, R/W, sti (I:/SCI-SNMsamling.) xx så får du adgang. mvh anders

Sosannah commented 3 years ago

I'm a bit confused right now. There are images now here: I:\SCIENCE-SNM-Samling-ImageRepo\2021 - Maculinea Alcon and here: I:\SCIENCE-SNM-SAMLING\SNM (not available for me yet).

Aren't they the same? (I:\SCIENCE-SNM-Samling-ImageRepo\2021 - Maculinea Alcon\Images of Copenhagen specimens: ~39 GB, Images of Aarhus specimens - ~33 GB)

Thanks for clarification!

mvh, Zsuzsanna

adjordan74 commented 3 years ago

Hi @Sosannah and all. Yes presently the Copenhagen (NHMD Maculinea Alcon) images are in two depositories. So they are identical. I added them both places so all would have immediate access, after which we can decide to keep a copy on media server.

the Aarhus images will go to NHMa (Curator, Thomas Simonsen).

Cheers anders

Sosannah commented 3 years ago

Thanks @adjordan74 , now it's clear! :)

FedorSteeman commented 1 week ago

New location: N:\SCI-SNM-Samling-ImageRepo\2021 - Maculinea Alcon