search

BilalElmanja / OOD_Detection_Benchmarking

MIT License
0 stars 0 forks source link

Future Work #1

Open jdalch opened 2 months ago

jdalch commented 2 months ago

Pour la suite du stage:

  1. Visualisation des concepts à la fois de toute la base ID et aussi des erreurs.
  2. Tester plus de benchmark de OpenOOD
  3. Évaluation des hyper-paramètres
    • [ ] Écart-types des performances
    • [ ] Tester minimum versus moyenne dans les méthodes basées concepts
    • [ ] Tester d'autres distances dans le space de concepts, e.g. Mahalanobis
    • [ ] Changer la norme par normaliser avant de projeter.
    • [ ] Tester la méthode CRAFT avec plus de concepts de base et le même nombre de concepts à la fin qu'avec la méthode MNF + Concepts (regarder l'interpretabilité des concepts dans les deux cas)
jdalch commented 1 month ago

In order to extract interesting concepts, we should use more concepts than classis, and divide the images into patches, like they do in craft. If we do so, the OOD score for the whole image should be calculated by aggregating the OOD scores per patch, e.g. by computing the mean of the patch-wise OOD scores. This experiment should be performed for the OpenOOD Imagenet-200 benchmark so that we can see the interesting concepts emerge.