Warning : formula for the information matrix when missing values is false ?

[AugustePaoli99]

Actuellement, dans la librairie IDF.jl, le calcul de l'information de Fisher (qui apparaît dans la méthode de calcul du seuil critique de notre test de GOF) est réalisé comme suit :

• on prend la matrice d'information de Fisher empirique Î obtenue comme la hessienne de la log-vraisemblance empirique
• on la divise par le nombre total d'années d'observations Or, au préalable, on enlève les données manquantes pour chaque durée séparément. Donc on peut avoir enlevé des données et pour autant le nombre total d'années d'observations est resté le même. Auquel cas la méthode de calcul ci-dessus devient fausse.

[AugustePaoli99]

Note : Cette issue ne concerne pas encore directement IDFCurves.jl. Cependant, elle sera d'actualité dès que je voudrai y implémenter ma procédure de test.

[AugustePaoli99]

Note 2 : Cette erreur ne change rien aux résultats de l'étude de simulation. Elle ne change rien non plus aux résultats de test appliqués à Montréal-Trudeau.

Par contre, à Vancouver, il y a des données manquantes entre les années 1970 et 1975, pour les durées entre 5 et 30min uniquement. Ce qui fait que lorsque je calcule l'information de Fisher comme Î/n, où n est le nombre total d'années d'observations, je fais une erreur. En réalité je devrais calculer l'information de Fisher associée à chaque durée : (Î_5min / n_5min), (Î_10min / n_10min), ... (Î_24h / n_24h), où n_5min (resp.) est le nombre total d'années d'observations pour la durée 5min (resp.). Ensuite j'obtiens l'information de Fisher totale en sommant ces estimations. L'erreur est due au fait que dans le cas de Vancouver, n_5min et n_24h=n sont différents. A priori, j'ai probablement sous-estimé l'information de Fisher, donc sur-estimé le seuil critique de test. Il est possible que ça change le résultat du test pour Vancouver... Je vais essayer d'implémenter la nouvelle méthode de calcul pour faire cette vérification.

[AugustePaoli99]

Je viens de faire les vérifications. Pour Vancouver, le bon calcul pour le seuil critique est de 0.71. On avait trouvé 0.75 précédemment. La valeur de la statistique est de 0.72 ... @jojal5 je ne suis pas sûr que je me sois exprimé de manière très claire dans cette issue, mais la conclusion est la suivante : mes calculs étaient légèrement faussés pour le calcul des seuils critiques, et alors qu'on acceptait de peu le simple scaling pour Vancouver jusqu'à maintenant, maintenant on le rejette de peu...

[AugustePaoli99]

Voir script.jl dans IDF.jl pour l'implémentation du nouveau calcul dans le cas de Vancouver.

[jojal5]

Oui c'est clair. Tu as raison, l'information de Fisher devrait être la somme de l'information pour chacune des durées.

On pourrait parler de la façon dont le calcul est implémenté dans tes fonctions pour que les les fonctions soient modulables.