search

hjamet / Epita-S9-DNN

2 stars 0 forks source link

Choix du sujet #1

Closed hjamet closed 1 year ago

hjamet commented 2 years ago

Description

Ce projet consiste à réimplémenter les principales idées innovantes présentées dans un article de recherche en groupe de 5. Un mail doit être écrit au professeur le plus vite possible (edouardyvinec@hotmail.fr edouardyvinec@hotmail.fr;) avec l'article que nous avons choisi afin qu'il valide notre sujet.

Proposition

On propose de travailler sur une version simplifiée du mécanisme à l'origine du succès des transformers : Le mécanisme d'attention. À l'origine destiné au NLP, on finit par le trouver dans à peu près dans tous les domaines et tous les modèles parceque'en fait c'est génial. (https://www.connectedpapers.com/main/204e3073870fae3d05bcbc2f6a8e263d9b72e776/Attention-is-All-you-Need/graph)

Pour ce faire, on propose de travailler sur l'article suivant, antérieur au succès des transformers en 2017 : https://arxiv.org/abs/1601.06733 Dans les implémentations déjà effectuées par d'autres, on notera tout particulièrement ces repos qui semblent vraiment bien faits à première vue :

Dites-moi si vous approuvez le sujet ou si vous avez d'autres idées/remarques que je puisse envoyer le mail :)

nigiva commented 2 years ago

Excellent sujet ! J'approuve. :+1:

Enjoyshi commented 2 years ago

J'approuve.

hjamet commented 2 years ago

Le prof nous a finalement proposé le sujet suivant en lien avec les mécanismes d'attention : Dites ce que vous en pensez ! http://proceedings.mlr.press/v70/sundararajan17a/sundararajan17a.pdf

TheoPeri commented 2 years ago

J'approuve, ça à l'air intéressant

nigiva commented 1 year ago

Cette deuxième proposition de papier est nettement plus intéressante et utile, je trouve. Ça parle d'un outil assez efficace (rapide et facile à calculer) d'explicabilité de modèle : Integrated Gradient.

Je serai très heureux de pouvoir réimplémenter ce papier !

Lecture complémentaire :