ftn-ai-lab / sc-2019-siit

Soft Computing - 2019 - Sotversko inženjerstvo i informacione tehnologije
MIT License
5 stars 3 forks source link

Prepoznavanje muzičkih simbola i i generisanje melodije #30

Closed draganculibrk9 closed 4 years ago

draganculibrk9 commented 4 years ago

Tim

Test skup će činiti primeri korisnika aplikacije (korisnikove fotografije notnih zapisa).

Metodologija

Koristićemo End-to-end Optical Music Recognition algoritam (detaljnije u radu https://www.researchgate.net/publication/324460067_End-to-End_Neural_Optical_Music_Recognition_of_Monophonic_Scores) koji radi na principu prepoznavanja muzičkih simbola jedne linije notnog zapisa.

Algoritam se sastoji od primene konvolutivne neuronske mreže (CNN), koja služi za izdvajanje vektora feature-a, koji zatim služe kao ulaz u rekurentnu neuronsku mrežu (RNN), koja vrši klasifikaciju simbola uz pomoć Connectionist Temporal Classification (CTC) loss funkcije.

Prilikom primene programa, radiće se izdvajanje linija notnog zapisa uz pomoć neke tehnike computer vision (najverovatnije Hough Transform), zatim će se svaka linija propustiti kroz istrenirane mreže, koje će na izlazu dati tekstualnu predstavu muzičkih simbola, na osnovu koje će biti izgenerisana melodija.

Evaluacija

Kao glavna metrika će se koristiti Connectionist Temporal Classification (https://en.wikipedia.org/wiki/Connectionist_temporal_classification) loss, koji se koristi za treniranje rekurentnih neuronskih mreža, za rešavanje sequence-to-sequence problema gde postoji vremenska zavisnost između svakog dela ulazne sekvence.

vdragan1993 commented 4 years ago

Kako planirate da evaluirate rad rešenja na testnom skupu podataka?

DanijelCBS commented 4 years ago

Rad rešenja će se na testnom skupu podataka evaluirati poređenjem dobijene tekstualne predstave muzičkih simbola sa muzičkim simbolima testnog notnog zapisa, a takođe će se dobiti i generisana melodija.

vdragan1993 commented 4 years ago

Da li ćete računati neku metriku ili će poređenje biti empirijsko?

DanijelCBS commented 4 years ago

Prilikom korišćenja rešenja od strane korisnika, poređenje dobijenih rezultata i korisnikovog, tj. testnog notnog zapisa, će biti empirijsko.

vdragan1993 commented 4 years ago

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

draganculibrk9 commented 4 years ago

GitHub: https://github.com/sc-2020-siit/MusicSheetsRecognition