Je tiens à vous partager une critique concernant l'outil Vaximpact. Les données de la DREES que vous partagez ne permettent pas de tirer de conclusions sur l'efficacité de la vaccination. Elles ne montrent que la corrélation (plus ou moins marquée) entre les décès/cas/hospitalisations et le statut vaccinal.
Pour conclure à une relation de cause à effet de la forme vaccination => réduction de x% du risque, nous devons nous assurer qu'il n'y a aucun facteur de confusion dans les échantillons statistiques traités. Autrement dit, nous devons prouver que la probabilité épistémique d'être vacciné et celle d'être contaminé (ou hospitalisé / décéder) ne sont pas toutes les deux affectées par des causes communes. Si de manière générale il est difficile, voire impossible de démontrer l'absence de facteurs de confusion, nous savons, dans notre cas qu'ils en existent.
L'âge est certainement le plus célèbre. La probabilité d'être vacciné et celle de développer une forme grave sont toutes les deux dépendantes de l'âge. Les personnes âgées développent en effet davantage de formes graves et leur couverture vaccinale n'est pas la même que chez les plus jeunes. Ce biais était davantage marqué au début de la campagne vaccinale, mais il persiste encore aujourd'hui.
Nous savons par ailleurs que d'autres biais existent, comme le sexe, le milieu social, l'accès aux soins, l'effet du pass sanitaire...
Dans le cas où les personnes à risque sont sur-vaccinées par rapport au reste de la population, votre méthode calculatoire sous-estime l'efficacité de la vaccination. Dans le cas contraire, elle en surestimerait l'efficacité.
Il est plutôt rationnel de penser que nous nous trouvions dans le premier cas au début de la campagne de vaccination car on vaccinait les personnes à risque. Mais aujourd'hui cela semble plus difficile à déterminer.
Une simple expérience de pensée permet de se convaincre des assertions ci-dessus. Imaginez que la maladie tue 100% des plus de 50 ans et 0% des moins de 50 ans. Supposons qu'une entreprise développe un vaccin contre cette maladie avec une efficacité avoisinant les 0%. En vaccinant tous les moins de 50 ans et aucun plus de 50 ans, vous vous rendriez compte que les vaccinés ne meurent jamais de la maladie, au contraire des non vaccinés. En calculant le risque relatif avec la méthode que vous utilisez, on aurait :
Si le risque relatif permettait de conclure à une efficacité de la vaccination, on devrait avoir un RR de 1 pour un vaccin efficace à 0%. En effet, si le vaccin n'affecte pas la probabilité de mourir, le rapport doit être de 1. Or nous trouvons une valeur tendant vers +∞. Bien évidemment, le cas extrême opposé conclurait à tort à un vaccin inefficace, ce qui est peut-être davantage problématique si la maladie est grave.
Vous avez d'ailleurs relevé le biais de l'âge dans le document Outil VaxImpact - Méthodologie, directement après avoir affirmé que le risque relatif « démontre une efficacité certaine de la vaccination ». Si le biais de l'âge est connu et allait dans le sens de votre conclusion à l'heure de rédaction du rapport, vous n'avez pas démontré l'absence d'autres facteurs, ni calculé à quel point l'âge influe sur le résultat. Ainsi, les termes « démontre » et « certaine » relèvent d'une malhonnêteté intellectuelle qui n'a rien à envier aux campagnes de désinformation les plus critiquables.
Il est inconvenant et immoral de présenter cet outil comme un indicateur fiable. Vôtre métrique est biaisée et vous en avez conscience. Le fait que cela n'apparaisse nulle part sur la page web est un problème, au vu de la notoriété de votre site, du nombre de personnes, médias et organisations vous accordant une confiance aveugle. La transparence doit être la clé dans un projet comme celui-ci. Je vous invite à faire relire vos méthodes par des statisticiens. Les utilisateurs lambdas ne devraient pas avoir à lire un document externe pour être au fait des limites du modèle (surtout si elles ne sont pas assumées !).
Bonjour,
Je tiens à vous partager une critique concernant l'outil Vaximpact. Les données de la DREES que vous partagez ne permettent pas de tirer de conclusions sur l'efficacité de la vaccination. Elles ne montrent que la corrélation (plus ou moins marquée) entre les décès/cas/hospitalisations et le statut vaccinal.
Pour conclure à une relation de cause à effet de la forme
vaccination => réduction de x% du risque, nous devons nous assurer qu'il n'y a aucun facteur de confusion dans les échantillons statistiques traités. Autrement dit, nous devons prouver que la probabilité épistémique d'être vacciné et celle d'être contaminé (ou hospitalisé / décéder) ne sont pas toutes les deux affectées par des causes communes. Si de manière générale il est difficile, voire impossible de démontrer l'absence de facteurs de confusion, nous savons, dans notre cas qu'ils en existent.L'âge est certainement le plus célèbre. La probabilité d'être vacciné et celle de développer une forme grave sont toutes les deux dépendantes de l'âge. Les personnes âgées développent en effet davantage de formes graves et leur couverture vaccinale n'est pas la même que chez les plus jeunes. Ce biais était davantage marqué au début de la campagne vaccinale, mais il persiste encore aujourd'hui.
Nous savons par ailleurs que d'autres biais existent, comme le sexe, le milieu social, l'accès aux soins, l'effet du pass sanitaire...
Dans le cas où les personnes à risque sont sur-vaccinées par rapport au reste de la population, votre méthode calculatoire sous-estime l'efficacité de la vaccination. Dans le cas contraire, elle en surestimerait l'efficacité. Il est plutôt rationnel de penser que nous nous trouvions dans le premier cas au début de la campagne de vaccination car on vaccinait les personnes à risque. Mais aujourd'hui cela semble plus difficile à déterminer.
Une simple expérience de pensée permet de se convaincre des assertions ci-dessus. Imaginez que la maladie tue 100% des plus de 50 ans et 0% des moins de 50 ans. Supposons qu'une entreprise développe un vaccin contre cette maladie avec une efficacité avoisinant les 0%. En vaccinant tous les moins de 50 ans et aucun plus de 50 ans, vous vous rendriez compte que les vaccinés ne meurent jamais de la maladie, au contraire des non vaccinés. En calculant le risque relatif avec la méthode que vous utilisez, on aurait :
Si le risque relatif permettait de conclure à une efficacité de la vaccination, on devrait avoir un RR de 1 pour un vaccin efficace à 0%. En effet, si le vaccin n'affecte pas la probabilité de mourir, le rapport doit être de 1. Or nous trouvons une valeur tendant vers +∞. Bien évidemment, le cas extrême opposé conclurait à tort à un vaccin inefficace, ce qui est peut-être davantage problématique si la maladie est grave.
Vous avez d'ailleurs relevé le biais de l'âge dans le document Outil VaxImpact - Méthodologie, directement après avoir affirmé que le risque relatif « démontre une efficacité certaine de la vaccination ». Si le biais de l'âge est connu et allait dans le sens de votre conclusion à l'heure de rédaction du rapport, vous n'avez pas démontré l'absence d'autres facteurs, ni calculé à quel point l'âge influe sur le résultat. Ainsi, les termes « démontre » et « certaine » relèvent d'une malhonnêteté intellectuelle qui n'a rien à envier aux campagnes de désinformation les plus critiquables.
Il est inconvenant et immoral de présenter cet outil comme un indicateur fiable. Vôtre métrique est biaisée et vous en avez conscience. Le fait que cela n'apparaisse nulle part sur la page web est un problème, au vu de la notoriété de votre site, du nombre de personnes, médias et organisations vous accordant une confiance aveugle. La transparence doit être la clé dans un projet comme celui-ci. Je vous invite à faire relire vos méthodes par des statisticiens. Les utilisateurs lambdas ne devraient pas avoir à lire un document externe pour être au fait des limites du modèle (surtout si elles ne sont pas assumées !).
Bon courage dans la suite du projet 💪