Data loader for books dataset

zabor2432 / Transfer-testing

Research project

0 stars 1 forks source link

Data loader for books dataset #2

Open zabor2432 opened 1 year ago

zabor2432 commented 1 year ago

There is need for pytorch lightning DataLoader that can load book pages from provided dataset in this format: // TODO: folder structure - ask for it on discord Here is good starting point we need something similar.

odiakun commented 1 year ago

Piotr & Piotrek

zabor2432 commented 1 year ago

Trzeba podpatrzeć jeszcze strukturę folderów do książek i tego całego datasetu, który dostaniemy na pewno struktura jest inna dla danych testowych i dla danych treningowych/walidacyjnych. tutaj https://pytorch.org/vision/stable/_modules/torchvision/datasets/folder.html#ImageFolder można podpatrzeć jak pytorch zrobił ImageFolder na podstawie DatasetFolder, potrzebujemy czegoś podobnego z rozróżnieniem:

dataset training/valid a test
klasy zdjęcia (było ich kilka, np. blurred)

zabor2432 commented 1 year ago

See fdc05a3 for a proposition how to start this

PiotrWrbl commented 1 year ago

Poniżej przesyłam link do tymczasowego datasetu. W folderze TT_DB są foldery odpowiadające klasom zdjęć. Przy pomocy 01_prepare2.py można utworzyć strukturę plików train/val/test. Przykładowy folder o takiej strukturze to 'data'.

W pliku 01_prepare2.py należy jedynie dopasować ścieżkę w której dostępny będzie folder TT_DB.

https://drive.google.com/file/d/11NiynLYf7UZlNJMzJLDgTJbWUcZY_Qwm/view?usp=share_link