Prepoznavanje muzičkog instrumenta, visine tona kao i njegovog trajanja

[milibovan]

Tim: Mili Bovan RA 41/2020

Asistent: Filip Volarić

Definicija problema: Prepoznavanje instrumenta koji je odsvirao ton kao i njegova visina i potencijalno i trajanje tog tona. Na ulazu je audio datoteka koja sadrži sekvencu tonova odsviranih na istom ili različitim instrumentima. Pored instrumenta, potrebno je odrediti i visinu tona, odnosno njegovo mjesto u notnom sistemu u okviru oktava. To je primarni zadatak, dok je trajanje i mapiranje na notni zapis proširenje datog problema.

Motivacija problema: Program nakon obučavanja bi trebalo da služi kao alat za prepoznavanje muzičke sekvence odsvirane na bilo kom instrumentu. Takođe, može poslužiti za lakše prepoznavanje nota kao mogućnost za lakšu reprodukciju kao i prepoznavanje nepoznate melodije.

Skup podataka: Skup podataka ću sam izgenerisati koristeći StudioOne 5 alata, kao i posjedovanje znanja i alata za generisanje.

Metodologija: Za obradu zvuka koristiću biblioteku LibROSA. Osobine zvuka izdvojiću pomoću MFCCs. Za trening i klasifikaciju koristiću više različitih CNN mreža i izbrao bih onu koja daje najbolje rezultate. U slučaju da su rezultati neizbalansirani, koristiću Python-ovu biblioteku Imbalanced-learn

Evaluacija: Skup podataka ćemo podijeliti na validacioni, testni i trening. Efikasnost ću odrediti korišćenjem metrika F1 i loss.

[Fickos]

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

[milibovan]

https://github.com/milibovan/music_recognition