Explicar "Multi-Head Attention" (.ipynb)

somosnlp / the-annotated-transformer

Traducción al español del notebook "The Annotated Transformer" de Harvard NLP donde se explica e implementa el paper "Attention Is All You Need".

5 stars 3 forks source link

Explicar "Multi-Head Attention" (.ipynb) #14

Open mariagrandury opened 3 years ago

mariagrandury commented 3 years ago

Crear un notebook multi_head_attention.ipynb en el que se explique la estructura y la función de la pieza de manera interactiva

IsaacRodgz commented 3 years ago

Hola!

He creado un primer borrador del Notebook con el módulo de Multi-Head Attention. He puesto un par de ejemplos de como usar el módulo, pero tengo dudas aún, así que cualquier Feedback o ideas son bienvenidas. Dejo aquí el link del Notebook o igual podría irlo agregando a Github si es mejor.