Stworzyłem na razie prostą strukturę folderów do tego zbioru danych - samych zdjęć nie wrzucałem do repo, nie wydaje mi się żeby to była najlepsza opcja żeby Git takie wielkie pliki trzymał, nie wiem nawet czy darmowy tier by wystarczył do takiej ilości danych.
Pobrane i rozpakowane dane z #23 wrzucamy do data/images/raw, dzielimy train i test odpalając prepare_alpha_dataset.py (trzeba chyna wywołać z katalogu data).
Na razie ogarnąłem tylko zdjęcia z Houzz, bo są podzielone na kategorie które nam posłużą jako labele później.
W pliku loaders.py wrzuciłem funkcje do ładowania datasetu ze wstępną obróbką (zmiana rozmiaru), opakowałem to w FlatsDatasetLoader, z myślą o tym że w naszych eksperymentach w Jupyterach będziemy sobie importować ten kodzik i całą logikę mamy wyabstrachowaną.
Wybrałem wstępnie PyTorcha jako framework, jeżeli chcemy to możemy zrobić to na czymś innym, mi to narzędzie jest już bardzo znajome po prostu.
Closes #25
Stworzyłem na razie prostą strukturę folderów do tego zbioru danych - samych zdjęć nie wrzucałem do repo, nie wydaje mi się żeby to była najlepsza opcja żeby Git takie wielkie pliki trzymał, nie wiem nawet czy darmowy tier by wystarczył do takiej ilości danych.
Pobrane i rozpakowane dane z #23 wrzucamy do
data/images/raw, dzielimytrainitestodpalającprepare_alpha_dataset.py(trzeba chyna wywołać z katalogudata).Na razie ogarnąłem tylko zdjęcia z Houzz, bo są podzielone na kategorie które nam posłużą jako labele później.
W pliku
loaders.pywrzuciłem funkcje do ładowania datasetu ze wstępną obróbką (zmiana rozmiaru), opakowałem to wFlatsDatasetLoader, z myślą o tym że w naszych eksperymentach w Jupyterach będziemy sobie importować ten kodzik i całą logikę mamy wyabstrachowaną.Wybrałem wstępnie PyTorcha jako framework, jeżeli chcemy to możemy zrobić to na czymś innym, mi to narzędzie jest już bardzo znajome po prostu.