Standardni Neural Style Transfer uz optimizaciju očuvanja boja (Color Preservation)

[NikolaZubic]

• Članovi tima Nikola Zubić, SW-03/2016, Grupa 1

• Definicija problema Neural Style Transfer je pristup u Deep Learning-u koji kao ulaz prima dvije slike. Jednu sliku nazvaćemo sadržajnom (content) slikom (označićemo je sa C), a drugu sliku stilskom (style) slikom (označićemo je sa S). Cilj nam je kreirati generisanu sliku (označićemo je sa G), tako da G kombinuje sadržaj slike C sa stilom slike S. Na taj način možemo da npr. generišemo naš selfie u stilu nekog rada Paje Jovanovića, ali pri tome ne koristimo tehnike za eksplicitnu transformaciju piksela (kao što je npr. Non-photorealistic rendering) nego koristeći CNN "učimo" piksele za G sliku.

• Motivacija problema Rešenje ovog problema može se iskoristiti kao dio nekog složenijeg softvera (poput FotoSketcher-a) ili bilo koje aplikacije sa primjenom filtera, šire gledano aplikacije (ili podsistema) koja ima veze sa photo editing-om.

• Metodologija Originalni naučni rad iz NST-a koristi prethodno treniranu CNN i na osnovu nje rješava dati problem. Koristeći Transfer Learning, iskoristiću vjerovatno VGG mrežu kao polaznu tačku. Kompletan pristup će biti zasnovan na minimizaciji funkcije greške: J(G)=αJcontent(C,G)+βJstyle(S,G), gdje se kroz Jcontent trudimo da nam G slika što manje odstupa od sadržaja C (fokusiramo se na strukturu), a kroz Jstyle da nam G što manje odstupa od stila slike (fokus na teksturu, luminozitet...). Problem kod standardnog NST pristupa jeste taj što nije u stanju da efektivno očuva boje na G slici od C slike. Kada imamo kao ulaz C i S sliku, on kada izgeneriše G sliku, očuva njen sadržaj, ali preuzme dominantne boje iz stilske slike. Ono što Color Preservation optimizacija omogućuje jeste da se očuva sadržaj C slike, ali i boje koje su prisutne u njoj, a da stil (tekstura, luminozitet...) bude kao u S slici. Ova optimizacija se može izvršiti koristeći neki od dva pristupa: Color histogram Matching i Luminance-only transfer.

• Evaluacija Uzimajući u obzir da je čest problem sa soft kompjuting i fazi sistemima (naročito u Visual Computing-u) njihova evaluacija odnosno kreiranje adekvatne metrike za procjenu njihovog kvaliteta, izvršiću poređenje rezultata sa ostalim naučnim radovima koji se tiču Neural Style Transfera i sličnih optimizacija (uključujući radove autora originalnog rada).

[vdragan1993]

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

[NikolaZubic]

Tema odobrena. Ostavite link ka GitHub repozitorijumu projekta. Srećan rad.

https://github.com/reinai/NeuralStyleTransfer