Lab 1 - Βήμα 9

[NickSpanos55]

Καλησπέρα σας. Προκύπτει σφάλμα με το γλωσσικό μοντέλο W και για κάθε λέξη βγάζει and και the? Τι μπορεί να έχει πάει λάθος σε αυτό το σημείο? Τα LV και EV (δηλαδή το S με τον vanilla και τον weighted Levenshtein) βγάζουν κανονικά αποτελέσματα. Σας ευχαριστούμε πολύ.

[efthymisgeo]

Πιθανόν να έχετε υπολογίσει λάθος τις πιθανότητες εμφάνισης κάθε λέξης

[NickSpanos55]

Θέλουμε τον αρνητικό λογάριθμο σε αυτό το ερώτημα ή μόνο το, για παράδειγμα, #(εμφανίσεων λέξης)/#(λέξεων)?

[efthymisgeo]

1. Βρίσκεις πιθανότητες (ο τύπος που γράφεις είναι λάθος)
2. Τις μετατρέπεις σε βάρη όπως είπες

[NickSpanos55]

Με συγχωρείτε, επειδή μπερδεύτηκα λίγο. Αν το "the" εμφανίζεται 10 φορές, και συνολικά έχουμε 50 λέξεις (όχι μοναδικές), η πιθανότητα να εμφανιστεί το "the" δεν είναι 10/50? Εάν ναι, κάνοντας αυτήν την πιθανότητα με αρνητικό λογάριθμο βγάζει λανθασμένα αποτελέσματα, όπως είπα και παραπάνω.

[NickSpanos55]

Παρενθετικό σχόλιο, δοκίμασα με δεκαδικό λογάριθμο και βγήκαν κάποια αποτελέσματα, αλλά εχει πολλά "and" και "the" και η ακρίβεια πέφτει πολύ και δεν ξέρω αν είναι αναμενόμενο. Σας ευχαριστώ πολύ.

[efthymisgeo]

Τι πιθανότητα βγάλατε για το the ?

[NickSpanos55]

Περίπου 0.065.

[efthymisgeo]

Ας επιβεβαιώσει κάποια άλλη ομάδα αν βγάζει κάτι παρόμοιο για να δούμε εάν είναι εκεί το λαθος

[NickSpanos55]

Επίσης, έχω ρωτήσει αν είναι φυσιολογικό να εμφανίζονται διπλότυπες λέξεις στις προβλέψεις. Δηλαδή, για το triangulaur βγάζει τρεις φορές στο triangular. Αν αυτό είναι φυσιολογικό, μετράμε για το accuracy κάθε πρόβλεψης και για τις 3 προβλέψεις, δηλαδή 3 στα 3 και μετά μέσο όρο για όλες τις λέξεις? Σας ευχαριστώ πολύ για τον χρόνο σας.

[efthymisgeo]

Έχετε κάνει shortestpath, rmepsilon, topshort και ειναι οι τρεις πιο φθηνές; Αν ναι τότε ναι είναι valid correction.

[angeloskanatas]

Περίπου 0.065.

Ναι και εμάς εκεί περίπου κυμαίνεται.

[pioui]

Και εγώ έχω το ίδιο θέμα. Είναι φυσιολογικό; Μπορεί να φταίει που το corpus είναι σχετικά μικρό;