Julien Guillaumin, étudiant à IMT Atlantique (Brest) en vision par ordinateur.
Sujet de votre conférence
Transfert de style par Deep Learning
Description de votre conférence
Le transfert de style est une tâche particulière : elle demande de comprendre le style d'une peinture/dessin, de l'extraire pour l'appliquer à une photo sans modifier son contenu sémantique. De nombreuses applications mobiles et web réalisent cette tâche sous la forme de filtres, par exemple 'à la façon de Van Gogh'. Depuis 2015, il existe des méthodes utilisant les réseaux de neurones convolutifs (CNNs), entraînés dans un premier temps pour la classification d'images. Depuis deux ans ces méthodes ont fait d'énormes progrès et peuvent maintenant extraire le style de n'importe quelle œuvre d'art, même le dessin d'un enfant. Je vais présenter trois méthodes majeures utilisant le Deep Learning.
L'étude de ces algorithmes permet de bien comprendre les réseaux de neurones, de voir ce qu'il se passe à l'intérieur et de se défaire l'effet 'black-box'. Le transfert de style permet aussi de comprendre des notions importantes nécessaires à d'autres tâches comme la super-résolution ou la colorisation d'images.
Les codes des démonstrations seront disponibles sur GitHub (implémentation avec TensorFlow 1.3 en Python 3.5), si vous souhaitez refaire les expériences avec vos propres données/dessins. .
Informations diverses
Thématique, Labels : Deep Learning, génération d'images
Niveau de difficulté (débutant|avancé|confirmé) : avancé (CNN pour la classif d'images)
Dispo ou indispo (après mars, dès que possible, pas entre X et Y): 2/3/4 novembre, 7/8/9 décembre (je suis à Brest)
Conférence + Atelier ?
On peut envisager de faire ça en deux temps :
une partie conférence (une bonne heure, mais ajustable +/-) Où je présente l'état de l'art dans ce domaine. J’introduis aussi les Generative Adversarial Networks (GANs).
une partie atelier pour l'implémentation avec TensorFlow (TensorFlow seul, sans Keras). Cela permet d'introduire des mécanismes un peu plus poussé de TensorFlow : variable_scope, usage du TensorBoard, convolution/deconvolution/transposed convolution, batch/instance/conditional instance normalization. Et surtout construire des modèles plus compliqués, avec plusieurs fonctions de coût à entraîner de façon asynchrone (notamment les GANs).
Mais le contenu et le format de ce que je peux faire sont à discuter ensemble (slack ?).
A très vite j'espère !
Mes slides (que je vais mettre à jour d'ici quelques semaines) sont en ligne: https://github.com/JGuillaumin/style-transfer-workshop
Le speaker
Julien Guillaumin, étudiant à IMT Atlantique (Brest) en vision par ordinateur.
Sujet de votre conférence
Transfert de style par Deep Learning
Description de votre conférence
Le transfert de style est une tâche particulière : elle demande de comprendre le style d'une peinture/dessin, de l'extraire pour l'appliquer à une photo sans modifier son contenu sémantique. De nombreuses applications mobiles et web réalisent cette tâche sous la forme de filtres, par exemple 'à la façon de Van Gogh'. Depuis 2015, il existe des méthodes utilisant les réseaux de neurones convolutifs (CNNs), entraînés dans un premier temps pour la classification d'images. Depuis deux ans ces méthodes ont fait d'énormes progrès et peuvent maintenant extraire le style de n'importe quelle œuvre d'art, même le dessin d'un enfant. Je vais présenter trois méthodes majeures utilisant le Deep Learning. L'étude de ces algorithmes permet de bien comprendre les réseaux de neurones, de voir ce qu'il se passe à l'intérieur et de se défaire l'effet 'black-box'. Le transfert de style permet aussi de comprendre des notions importantes nécessaires à d'autres tâches comme la super-résolution ou la colorisation d'images.
Les codes des démonstrations seront disponibles sur GitHub (implémentation avec TensorFlow 1.3 en Python 3.5), si vous souhaitez refaire les expériences avec vos propres données/dessins. .
Informations diverses
Conférence + Atelier ?
On peut envisager de faire ça en deux temps :
variable_scope, usage du TensorBoard, convolution/deconvolution/transposed convolution, batch/instance/conditional instance normalization. Et surtout construire des modèles plus compliqués, avec plusieurs fonctions de coût à entraîner de façon asynchrone (notamment les GANs).Mais le contenu et le format de ce que je peux faire sont à discuter ensemble (slack ?). A très vite j'espère ! Mes slides (que je vais mettre à jour d'ici quelques semaines) sont en ligne: https://github.com/JGuillaumin/style-transfer-workshop