Profondeur et Portes : Implémentation du papier Highway Networks
Le speaker
@VieVie31
Sujet de votre conférence
Implémentation du papier Highway Networks en PyT🔥rch
(Ce n'est pas réservé aux T🔥rchons, les utilisateurs d'autres Serviettes/Frameworks peuvent également se mélanger)
Description de votre conférence
Après un bref rappel sur comment la profondeur a pu être introduite dans les réseaux modernes (ResNet, DenseNet, etc.) nous verrons une méthode proposée à peu près en même temps (ICML'15) permettant de faire apprendre des réseaux très profonds grâce à un mécanisme de skip-connections contrôlées par des portes. De plus, ce mécanisme étant inspiré de celui des LSTM, cette ré-implémentation de papier pourrait permettre de démystifier cette dernière architecture (en fonction du temps restant, un parallèle pourra être fait entre ces deux architectures afin de voir comment ce qui aura été fait dans le HW pourra être ré-utilisé pour ré-implémenter une cellule LSTM).
Profondeur et Portes : Implémentation du papier Highway Networks
Le speaker
@VieVie31
Sujet de votre conférence
Implémentation du papier Highway Networks en PyT🔥rch (Ce n'est pas réservé aux T🔥rchons, les utilisateurs d'autres Serviettes/Frameworks peuvent également se mélanger)
Description de votre conférence
Après un bref rappel sur comment la profondeur a pu être introduite dans les réseaux modernes (ResNet, DenseNet, etc.) nous verrons une méthode proposée à peu près en même temps (ICML'15) permettant de faire apprendre des réseaux très profonds grâce à un mécanisme de skip-connections contrôlées par des portes. De plus, ce mécanisme étant inspiré de celui des LSTM, cette ré-implémentation de papier pourrait permettre de démystifier cette dernière architecture (en fonction du temps restant, un parallèle pourra être fait entre ces deux architectures afin de voir comment ce qui aura été fait dans le HW pourra être ré-utilisé pour ré-implémenter une cellule LSTM).
Informations diverses