Damien Sileo (doctorant en dernière année sur le deep learning/NLP chez Synapse Développement et Université Paul Sabatier)
Sujet de votre conférence
BERT et l'avancement du traitement des langues
Description de votre conférence
Au cours de l'année passée, les modèles génériques (un modèle qui s'applique à plusieurs taches) de représentations de texte ont connu un saut inhabituel dans leurs performances.
De la même manière que word2vec pour les mots, un changement de paradigme se profile pour la représentation de textes.
Je propose d'aborder les défis actuels du traitement des langues et de montrer ce que les modèles récents basés sur les Transformers et les modèles de langue (BERT, GPT) apportent de nouveau (et d'ancien).
Je me baserai notamment sur mon article :
https://medium.com/synapse-dev/understanding-bert-transformer-attention-isnt-all-you-need-5839ebd396db (avec plus de vulgarisation)
Informations diverses
Thématique, Labels : NLP, deep learning, attention, Transformers, RNN, linguistique
Niveau de difficulté Avancé:
Durée: 1h de préférence
Format: slides
Dispo ou indispo: à partir d'Avril
contact : damien.sileo@synapse-fr.com
Le speaker
Damien Sileo (doctorant en dernière année sur le deep learning/NLP chez Synapse Développement et Université Paul Sabatier)
Sujet de votre conférence
BERT et l'avancement du traitement des langues
Description de votre conférence
Au cours de l'année passée, les modèles génériques (un modèle qui s'applique à plusieurs taches) de représentations de texte ont connu un saut inhabituel dans leurs performances. De la même manière que word2vec pour les mots, un changement de paradigme se profile pour la représentation de textes. Je propose d'aborder les défis actuels du traitement des langues et de montrer ce que les modèles récents basés sur les Transformers et les modèles de langue (BERT, GPT) apportent de nouveau (et d'ancien). Je me baserai notamment sur mon article : https://medium.com/synapse-dev/understanding-bert-transformer-attention-isnt-all-you-need-5839ebd396db (avec plus de vulgarisation)
Informations diverses