Generisanje novih pokemona i klasifikacija pokemona po generacijama na osnovu postojećih pokemona

[teodor-sakal-franciskovic]

Tim

• Ana Anđelić, R2 14/2023
• Teodor Sakal Francišković, R2 9/2023

Definicija problema

• Generisanje novih pokemona na osnovu pokemona iz svih (devet) prethodnih generacija - ideja je olakšati kreiranje narednih generacija i omogućiti kreiranje više pokemona u budućim generacijama.
• Generisanje novih pokemona na osnovu pokemona iz jedne od generacija - ideja je da se na osnovu novogenerisanih pokemona uoče neki od pattern-a u izgledu istih.
• Novogenerisani pokemoni će biti provučeni kroz klasifikator, kako bi se moglo videti da li modeli obučavani nad jednom generacijom pokemona zaista generišu pokemone nalik onima iz te generacije. Kada su u pitanju pokemoni generisani na osnovu svih prethodnih pokemona, želimo da vidimo u koju generaciju će oni biti klasifikovani i da probamo pronaći neke smislene razloge zbog čega je došlo do neke konkretne klasifikacije.

Skup podataka

Postojeći skupovi podataka koji obuhvataju prvih šest generacija pokemona:

• https://www.kaggle.com/datasets/kvpratama/pokemon-images-dataset/data - 721 pokemon, 819 slika (sa svim varijacijama pokemona) i
• https://www.kaggle.com/datasets/rajatvisitme/pokemon-image-dataset-v2/data - 721 pokemon, 9002 slike (sa izvršenom augmentacijom slika).

Oba skupa podataka sadrže .jpg i .png slike dimenzija 256x256.

• Potrebno je da dopunimo originalan skup podataka sa preostale 3 generacije pokemona, gde bi na kraju ukupno bilo 1120 pokemona, odnosno slika.
• Ako se zadržimo samo na dopuni skupa podataka, onda će se nadograđivati skup podataka sa prvog referenciranog linka, a ako tokom izrade budemo zaključili da bi nam augmentacija slika mogla pomoći pri generisanju novih pokemona, onda će se nadograđivati skup podataka sa drugog referenciranog linka.

Metodologija

• Kao što je već rečeno, potrebno je dopuniti i eventualno izvršiti dodatnu augmentaciju slika. Takođe, broj pokemona po generacijama je relativno izbalansiran, pa će svaki od modela koji se trenira nad skupovima podataka zasebnih generacija imati sličan broj ulaznih podataka. Sem prethodno spomenutih koraka, smatramo da dodatno pretprocesiranje neće biti potrebno.
• Prateći preporuke iz pročitane literature, kao što su:
  • https://arxiv.org/abs/1511.06434,
  • https://arxiv.org/abs/1701.00160,
  • https://arxiv.org/abs/2006.10738, kreiraćemo jedan/više modela različitih arhitektura Deep Convolutional Generative Adversarial Network-a (DCGAN). Kada je u pitanju broj modela koji će biti kreiran na osnovu prisutnih slika, ideja je da se kreira jedan model koji kao ulaz prima sve postojeće slike pokemona i još devet modela, gde svaki od tih devet modela kao ulaz prima slike pokemona iz jedne generacije.
• Pored svih prethodno spomenutih modela, potrebno je kreirati još jedan klasifikacioni model, koji će vršiti klasifikaciju novogenerisanih slika pokemona u jednu od devet generacija.

Evaluacija

• S obzirom da se radi o višeklasnoj klasifikaciji gde nam sve klase imaju podjednak značaj, evaluaciju ćemo vršiti uz pomoć F1 macro metrike.
• Kako bi za svaku od generacija pokemona mogla biti izvršena ravnopravna evaluacija, broj slika nad kojima će se izvršiti evaluacija će iznositi između 20% i 40% (odredićemo naknadno tačan procenat) broja slika u trening skupu, gledano u odnosu na svaku generaciju.

[vdragan1993]

Kako planirate da razvijete klasifikacioni model? Da li ćete kreirati model od nule ili koristiti fine-tuning/transfer learning postojećih modela?

[teodor-sakal-franciskovic]

Model od nule.

[vdragan1993]

Napomena da u pitanju treba da bude neuronski model.

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

[teodor-sakal-franciskovic]

https://github.com/anaandjelic/pokemon-gan