bowni
commented
4 years ago Merci pour ce retour précieux.
-
Le papier indiqué semble très intéressant, on note d'en faire une lecture attentive pour en tirer des éléments concrets (risques à prévenir et mesures à recommander).
-
Fais-tu référence à cette interview "Machine learning in the wild" ? Sur le fond, effectivement je te rejoins sur le fait que ce qu'il advient d'un modèle dans le temps est un sujet important. L'angle que l'on propose de prendre est celui de la traçabilité de l'élaboration d'un modèle, établir et maintenir sa "généalogie" en quelque sorte. Mais il y a d'autres sujets en effet, par exemple si la pratique change dans un domaine, un modèle qui était très pertinent peut ne plus l'être du tout.
Je viens de parcourir le readme, et je crois qu'il va etre difficile d'apporter des remarques complementaires pertinentes, tant vous semblez couvrir l'ensemble du sujet!
2 petits points peut-etre:
je me permets de faire un peu de pub pour mes ex-collegues de QuantumBlack qui ont fait du bon travail sur le sujet (travaux presentes a ICML cette annee): https://aiforsocialgood.github.io/icml2019/accepted/track2/pdfs/32_aisg_icml2019.pdf Si besoin, je pourrai vous mettre en contact avec Daniel First, passionne par le sujet.
un angle a aborder (non completement orthogonal aux themes que vous listez deja) serait peut etre celui du risque associe a la derive (drift) des modeles dans le temps: ie. on peut s'assurer qu'un modele a toutes les "FAT" properties initialement, mais rien ne garantit qu'elles ne s'invalideront pas avec le temps. A ce titre, je vous conseille de lire sur le theme de "machine learning in the wild", et se concentrant sur les aspects de fairness associes.