Image Style Transfer

[vujadinovicn]

Tim:

Nemanja Vujadinović

Asistent:

Marko Njegomir

Definicija problema:

Image Style Transfer predstavlja tehniku u oblasti computer vision-a čija ideja je da za dve slike - content i style image, generiše novu tako što će generisana slika sad predstavljati spoj dve ulazne - jednostavnije rečeno, sadržaj prve slike, biće 'naslikan' u stilu druge. Osnovni primer ove tehnike bio bi da se nečiji portret ili pejzaž, pretvori u onakav kakvog bi Pablo Picasso ili neko od drugih velikih umetnika, stvorio. U ovom projektu, baziraćemo se na Neural Style Transfer-u i generisanju pomoću Generative Adversarial Networks. (NST će svakako biti implementiran, a ukoliko vreme dozvoli i rešenje pomoću GAN-ova, pa će biti moguće porediti rezultate.)

Metodologija:

Za implementaciju NST-a, koristiće se tehnika Transfer learning-a sa pretrained VGG-19 mrežom. Za generisanje slika pomoću GAN-ova, koristiće se CycleGAN.

Skup podataka:

• U slučaju NST-a, sam training i training set neće postojati, pa će u inference-u biti moguće koristiti podatke (dve slike) po želji. Za style image, između ostalih, mogu biti korisne i slike iz skupa podataka za CycleGAN implementaciju.
• U slučaju CycleGAN-a, za style images biće korišten WikiArt skup podataka koji sadrži stilove i radove više od 150 umetnika. Za slike pejzaža, koristan skup podataka je Flickr, a za portrete CelebA ili neki sličan skup koji izoluje portrete osoba.

Evaluacija

Empirijski će se porediti rezultati ova dva pristupa, što će se najviše bazirati na samom izgledu generisanih slika. Takođe porediće se i same performanse. (U slučaju implementacije isključivo NST-a, rezultati će se empirijski evaluirati.)

[njmarko]

Тема одобрена. Потребно је да оставиш линк ка Github репозиторијуму. Срећан рад!

[vujadinovicn]

Link: https://github.com/vujadinovicn/image-style-transfer