Detekcija pneumonije na osnovu rendgenskih slika pluća korišćenjem konvolutivnih neuronskih mreža

[thelastgrim]

Tim

Jordanović Aleksandra sw69/2017 Radojičić Filip sw37/2015 Guša Marina sw49/2017

Asistent

Vidaković Dragan Škipina Milica

Definicija problema

Naš zadatak je da na osnovu rendgenskih slika pluća vršimo klasifikaciju snimaka u tri grupe: Normal, Virus i Bacteria. Budući da su konvolutivne neuronske mreže state-of-the-art u problemima analiziranja slika, upravo njih smo izabrali za rešavanje ovog problema. Ulaz u sistem je slika pluća dok je izlaz labela, odnosno naziv grupe kojoj slika pripada.

Skup podataka

https://www.kaggle.com/nikhilpandey360/chest-xray-masks-and-labels Skup podataka za treniranje mreže za segmentaciju pluća. Ovaj skup sadrži i ground truth maske sto je neophodno u prvom koraku.

https://drive.google.com/file/d/1EoKNe24GDssnVjbps6wLWqMP2eODMqSg/view Skup podataka za treniranje i konačnu klasifikaciju. Sadrzi x-ray snimke pluća koji su klasifikovani u kategorije normal, virus, bacteria, covid-19

Ovo nije konačni skup podataka. Ukoliko tokom rada utvrdimo da skup podataka nije zadovoljavajući izvršićemo korekciju (dopunu)skupa.

Metodologija

Najpre se vrši skaliranje slika iz skupa podataka na 512x512. Nakon toga vrši se segmentacija. Uz pomoć AlexNet konvolutivne mreže (learning from scratch), ali i primenom Dilacije i Erozije,sa slike se izdvaja isključivo region pluća. Ovaj korak potiče od ideje da bi izdvajanje regiona pluća, odnosno uklanjanjem ostalih organa sa slike, dobili mnogo preciznije rezultate. Međutim, budući da postoje i snimci uznapredovale bolesti, gde je deo slike previše svetao AlexNet može da rezultira slikom bez dela plućnog krila. Da bi se ovaj problem rešio vršimo rekonstrukciju uz pomoć ResNet-18 (learning from scratch, koristeći podatke iz prve mreže). Sledeći korak je logička or operacija slika dobijenih segmentacijom i rekonstrukcijom. Tako dobijena slika se konvertuje u RGB sliku koja se prosleđuje VGG16 mreži (koristimo gotovu mrežu sa zamrzavanjem određenih slojeva – biće tačno određeno tokom implementacije). Pored VGG16 planiramo da dodamo i neku svoju arhitekturu koja će naknadno biti određena, a koja će vršiti konačnu klasifikaciju slika. Čitav proces prikazan je na slici ispod.

Evaluacija

Za samu evaluaciju projekta koristićemo testni skup podataka i loss i accuracy metriku.

[milica-skipina]

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

[thelastgrim]

https://github.com/thelastgrim/SOFT-Projekat-2020