Klasifikacija muzičkih instrumenata

[Ikkjo]

Tim

Ilija Kalinić, SW65/2019

Asistent

Dragan Vidaković

Definicija problema

Višeklasna klasifikacija realnih fotografija muzičkih instrumenata uz pomoć konvolucionih neuronskih mreža. Potrebno je klasifikovati datu fotografiju u jednu od 6 klasa (akustična gitara, električna gitara, akustični bass, električni bass, bubnjevi i saksofon). Napraviću 2 modela dubokog učenja bazirana na konvolucijskim neuronskim mrežama, od kojih ću jedan ručno praviti, a za drugi ću koristiti MobileNetV3 mrežu, transfer learning i fine tuning kako bih adaptirao mrežu za ovaj problem. Na kraju ću istrenirane modele uvesti u demo web aplikaciju.

Skup podataka

Skup podataka ću samostalno prikupiti, koristeći Python web scraper skriptu. Cilj mi je da skup podataka bude ravnomerno raspoređen sa 200 slika po klasi, što bi ukupno bilo 1200 slika. Skup podataka ću podeliti na test i train skup (80/20), a za validaciju ću koristiti unakrsnu validaciju gde ću skup podataka podeliti na 5.

Metodologija

1. Pravljenje dataseta i enkodiranje labela klasa (labele za klase postaju int),
2. Augmentacija train skupa podataka kako bi slike bile malo manje jasne (da bismo izbegli overfitting),
3. Preprocesiranje podataka,
4. Treniranje oba ML modela,
5. Čuvanje weights-a i bias-a oba ML modela kako bih ih mogao dalje koristiti i evaluirati,
6. Uvoz modela u web aplikaciju uz pomoć Tensorflow.js.

Evaluacija

Za evaluaciju modela ću koristiti tačnost (accuracy) nad testnim skupom i unakrsnu validaciju.

[vdragan1993]

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

[Ikkjo]

https://github.com/Ikkjo/instru-vision