ivan7792
commented
6 years ago Malo mi je nejasan deo oko labeliranja video sadržaja sa youtube-a pošto u video klipovima možete imati i više lica, kao i više različitih emocija. Verujem da se samo niste izrazile na pravi način. Iz ovoga je nejasno da li na youtube sadržaju radite samo testiranje, ili i treniranje...
Tema odobrena. Srećan rad.
Tim Sandra Rajanović SW17/2014 Tatjana Zdravković SW38/2014
Definicija problema Prepoznavanje emocija na ljudskom licu sa slika i video zapisa. Projekat predstavlja proširenje projekta rađenog na ORI-ju, gde je prepoznavanje rađeno samo na slikama i gde su lica bila okrenuta direktno ka kameri. Sada ćemo proširiti sa prepoznavanjem emocija i na video snimcima i na licima koja su nakrivljena, okrenuta na stranu, nisu direktno uperena u kameru, itd. Emocije koje ćemo prepoznavati su šest osnovnih emocija (sreća, tuga, bes, strah, gađenje i iznenađenost) plus neutralan izraz lica. Projekat rađen na ORI-ju: https://github.com/sanndra95/ORIProject Link ka opisu tog projekta: https://github.com/ftn-ai-lab/ori-2017-siit/issues/11
Motivacija problema Projekat se može integrisati u neke veće sisteme ili aplikacije iz oblasti proizvodne i uslužne delatnosti, kao indikator da li su potrošači/kupci zadovoljni osobljem, kupljenim proizvodom, itd, što bi služilo preduzećima ili trgovinskim objektima u statističke svrhe i pomoglo im da eventualno poboljšaju svoje usluge.
Skup podataka Projekat iz ORI-ja je rađen na skupu podataka sa sledećeg linka. Planiramo i dalje da koristimo taj dataset, s tim da ćemo ga proširiti fotografijama koje ćemo ručno prikupiti sa interneta da bismo povećale tačnost klasifikacije, a za detekciju na video zapisima ćemo koristiti snimke (npr. poznatih ličnosti, intervjua, isečaka iz filmova, serija, emisija, itd.) koje ćemo ručno prikupiti sa Youtube-a. Na snimcima ćemo vršiti testiranje, koristićemo za početak video snimke sa jednom osobom, a broj emocija na snimku može biti jedna ili više. Svakoj slici/videu će biti dodeljena labela ili labele emocija koje treba da se prepoznaju i na taj način će se vršiti predikcija.
Metodologija Za obradu slika koristiće se biblioteke OpenCV i dlib, a OpenCV ćemo takođe koristiti za izdvajanje frejmova iz video zapisa. Klasifikacija će se vršiti uz pomoć konvolucione neuronske mreže.
Metod evaluacije Kao metod evaluacije koristićemo tačnost prepoznavanja (Accuracy).
Asistent: Ivan Perić (@ivan7792)
Repozitorijum: link
P.S. Issue ispravljen shodno komentaru da bi se razjasnile nejasne stvari.