Απορίες για 2η Σειρά Ασκήσεων

[NickSpanos55]

Καλησπέρα σας. Έχω δύο απορίες για την σειρά ασκήσεων:

1. Στην άσκηση 2.1 στο ερώτημα 2 το αποτέλεσμα του expression το υπολογίζω ως 0. Κάνω κάποιο λάθος ή παίζει ρόλο η δεύτερη παράγωγος της activation function?
2. Στην άσκηση 2.2 δεν χρειάζεται να γνωρίζουμε την Loss Function για να υπολογίσουμε κάποιες τιμές για το chain rule? Σας ευχαριστώ και απολογούμε αν οι ερωτήσεις είναι χαζές.

[georgepar]

1. Ναι κάνετε κάποιο λάθος (πιθανώς τραβάτε ένα - έξω από το σ? το οποίο είναι λάθος γιατί η σ εδώ δεν είναι γραμμική). Το σ''(0) μπορείτε να το θεωρήσετε μια σταθερά και δεν παίζει ρόλο σε αυτό το ερώτημα.
2. Όχι. Συγκεκριμένα "The final expression should be in terms of Lt". Το οποίο σημαίνει ότι δε χρειάζεται να γνωρίζετε τη συνάρτηση κόστους.

PS: According to Carl Sagan, in his 1997 book, The Demon-Haunted World: Science as a Candle in the Dark, there are naive questions, tedious questions, ill-phrased questions, questions put after inadequate self-criticism. But every question is a cry to understand the world. There is no such thing as a dumb question.

[NickSpanos55]

Οκ σας ευχαριστώ πολύ. Επίσης, μήπως στο 3ο ερώτημα της άσκησης 2.1 είναι λ->1?

[georgepar]

Οχι

[gkrinias]

Καλησπέρα,

Στην άσκηση 2.1 μήπως είναι μ = (4 λ^2 σ"(0))^-1 αντι για (4 λ σ"(0))^-1 ;

[georgepar]

ναι έχετε δίκιο. Θα ανεβάσω διορθωση

[Panoskininis]

Καλησπέρα σας και χρόνια πολλά,

Θα ήθελα μια ερώτηση όσον αφορά το 3ο ερώτημα της άσκησης 2.1. Δεν γίνεται το όρισμα της συνάρτησης tilde(f(x)) να είναι βαθμωτό αφού για να επιτευχθεί ο πολλαπλασιασμός με τον πίνακα W1, θα πρέπει αν έχει 2 γραμμές. Οπότε, να θεωρήσουμε πως το x στην tilde(f(x)) είναι διανυσματικό; Αν ναι, τότε η multiplication function απλά ορίζεται ως το γινόμενο των στοιχείων του διανύσματος; Ρωτάω επειδή στο ερώτημα 2 τα x1 και x2 είναι scalar.

Ευχαριστώ εκ των προτέρων.

[georgepar]

x = [x1, x2]

[ibatsis]

Χαίρετε.

Στην άσκηση 2.1, θεωρούμε ώς activation function την σ(x) = x για όλα τα ερωτήματα, σωστά; Σας ευχαριστώ. Καλό απόγευμα και καλή χρονιά.

[georgepar]

Όχι χρησιμοποιείτε γραμμικό activation μόνο στο πρώτο υποερωτημα.

Στα υπόλοιπα είναι μια αυθαίρετη μη γραμμικότητα (με μη μηδενική δεύτερη παραγωγό στο 0)

[ibatsis]

Μία ακόμη ερώτηση σχετικά με την ίδια άσκηση. Η μεταβλητή x είναι στις 2 - διαστάσεις, [x1 x2]. Όταν λέμε δεύτερη παράγωγος της σ( ) στο 0, εννοούμε για x = [0 0]; Επίσης όταν λέμε δεύτερη παράγωγος της σ( ), εννοούμε όλες τις παραγώγους του Εσσιανού πίνακα ( dσ( )/(dx1dx1) , dσ( )/(dx1dx2) , dσ( )/(dx2dx1) , dσ( )/(dx2dx2)) ;

[georgepar]

Η σ εφαρμόζεται element-wise, όπως πχ η sigmoid ή η relu. Άρα η σ είναι μια scalar συνάρτηση από το R->R

[nikgalanop]

Καλησπέρα σας και χρόνια πολλά!

Θα ήθελα να σας ρωτήσω για την άσκηση 2. Μας ζητείται να υπολογίσουμε τo gradient του L_t ως προς κάποιες μεταβλητές. Αν καταλαβαίνω σωστά το L_t είναι η "στιγμιαία" (και όχι αθροιστική) μετρική του λάθους που μας ενδιαφέρει, μόνο για την έξοδο της στιγμής t. (Σύμφωνα τουλάχιστον με το notation που διαβάζω στο κεφ. 10 του Goodfellow.)

2. Όχι. Συγκεκριμένα "The final expression should be in terms of Lt". Το οποίο σημαίνει ότι δε χρειάζεται να γνωρίζετε τη συνάρτηση κόστους.

Αναφέρετε πως πρέπει η τελική έκφραση της μερικής παραγώγου να είναι εκφρασμένη ως προς κάποιες μεταβλητές μεταξύ των οποίων και το L_t. Ωστόσο, δεν γνωρίζουμε τίποτα για καμία μερική παράγωγο του L_t. Δεν καταλαβαίνω πως, στον κανόνα της αλυσίδας, θα απαλλαχθούμε από τη μερική παράγωγο που θα περιέχει το L_t.

Σας ευχαριστώ εκ των προτέρων.

[grilio]

Καλή χρονιά! Στην άσκηση 2.1 στο ερώτημα 2 μήπως ο ορισμός του b είναι b^T = [0 0 0 0] και όχι b = [0 0 0 0]; Ευχαριστώ!

[georgepar]

Καλησπέρα και καλή χρονιά,

@nikgalanop Η τελική έκφραση θα περιέχει ένα όρο με τη μερική παράγωγο του L_t, οπότε δε χρειάζεται να ξέρετε κάποια συγκεκριμένη συνάρτηση κόστους. Η έκφραση είναι γενική για όλες τις συναρτήσεις κόστους

@grilio δε θυμάμαι τις διαστάσεις, αλλά αν ταιριάζει το b^T χρησιμοποιήστε αυτό.

[ilianasilou]

Καλησπέρα και καλή χρονιά,

Μέχρι πότε πρέπει να παραδώσουμε χωρίς το πέναλτυ;

[grilio]

στην άσκηση 2.3 γράφετε y_i ανήκει στο {1,1}, μήπως έχει γίνει κάποιο τυπογραφικό?

[Kontilenia]

Καλημέρα και καλή χρονιά. Υπάρχει περίπτωση να δωθεί κάποια παράταση για την παράδοση της δεύτερης σειράς αναλυτικών ασκήσεων; Ευχαριστώ!

[iliazzzz]

Καλησπέρα και χρονια πολλά!!!

Στην άσκηση 2.2 για το πρώτο ερώτημα πρέπει να αντικαταστήσουμε την f με π.χ. tanh;

Ευχαριστώ εκ των προτέρων 😄

[georgepar]

Όχι θα βγάλετε ενα γενικό τύπο για την f

[georgepar]

Σχετικά με παράταση, θα επανέλθω αύριο

[MundasMahtan]

Καλησπέρα, Στην άσκηση 2.2 μήπως τo output υπολογίζεται ως o_t=V h_t και όχι ως o_t = f ( V h_t )? Ευχαριστώ εκ των προτέρων

[dikontos]

Καλησπέρα!

Σχετικά με την παράταση, υπάρχει περίπτωση να δωθει; διότι ο φόρτος είναι μεγάλος.

[georgepar]

Θα δωθεί μια βδομάδα παράταση. Θα βγει αύριο σχετική ανακοίνωση

[phantom-duck]

Καλησπέρα και καλή χρονιά!

Σε παρόμοιο μήκος κύματος με ερώτηση προηγούμενου συναδέλφου, στην άσκηση 2.2, στο ερώτημα 1, στα atoms της τελικής έκφρασης δεν συμπεριλαμβάνεται η f. Ωστόσο, από την στιγμή που o_t = f(V h_t), μου φαίνεται ότι θα πρέπει να συμμετέχει στην τελική έκφραση όχι μόνο η f, αλλά και η παράγωγός της, υποχρεωτικά. Δεν καταλαβαίνω γιατί δεν ισχύει αυτό;

Edit: βασικά, τώρα που το σκέφτομαι, το notation δεν μου φαίνεται και τόσο ξεκάθαρο και alligned με της βιβλιογραφίας, δεν θα έπρεπε η έξοδος του μοντέλου να είναι το y; Το o τι είναι; Συγγνώμη για τις πολλές ερωτήσεις, απλά δεν τα έχουμε δει τα RNN και στη θεωρία και υπάρχουν κάποια κενά στις συμβάσεις για τη σημειογραφία.

Edit 2: βασικά, ακολουθεί η εκφώνηση το ίδιο notation με τον Goodfellow; (συγκεκριμένα, εγώ βλέπω εδώ, σελ 374) Και, αν όχι, μήπως θα μπορούσατε να μου πείτε ποια είναι η αντιστοιχία;

[billsioros]

Θα δωθεί μια βδομάδα παράταση. Θα βγει αύριο σχετική ανακοίνωση

Υπάρχει κάποιο νεότερο; Ευχαριστώ!