Lab 3: 4.2

[evansfk]

Στο αμφίδρομο LSTM με attention έχουμε 2 attention layers (ένα ανά κατεύθυνση)?

[georgepar]

Πρώτα κάνετε merge τις κατευθύνσεις μεταξύ τους και μετά να κάνετε attention. Συνοπτικά, αν N o αριθμός των timesteps και h το hidden size:

• έχετε Ν h-διαστατα διανύσματα από το forward pass και Ν h-διάστατα διανύσματα από το backward pass
• τα κάνετε concat και καταλήγετε με N 2*h-διαστατα διανύσματα
• Κάνετε attention πάνω σε αυτά τα διανύσματα για να καταλήξετε με 1 2*h-διαστατο διάνυσμα

Μπορείτε να δοκιμάσετε και την εναλλακτική που προτείνετε για να συγκρίνετε, αλλά εμείς ζητάμε αυτό που περιέγραψα.