IGNF / myria3d

Myria3D: Aerial Lidar HD Semantic Segmentation with Deep Learning
https://ignf.github.io/myria3d/
BSD 3-Clause "New" or "Revised" License
178 stars 23 forks source link

Alléger les data en phases de train et val #22

Closed CharlesGaydon closed 2 years ago

CharlesGaydon commented 2 years ago

Non ils sont modifiés ; cette copie signifie en fait conserver les positions initiales du nuages, c'est-à-dire 1) non normalisées, et 2) non sous-échantillonnées. L'idée étant aux phases de test et de predictions de pouvoir interpoler les probabilités vers les positions initiales de tous les points. Mais actuellement cette copie a lieu systématiquement ce qui n'est pas idéal.

Il y a probablement moyen de faire plus parcimonieux. L'intérêt que le sous-échantillonage arrive à l'extérieur du modèle c'est que ça permet une remontée de gradient plus efficace sans interpolation systématique à l'ensemble du nuage. On pourrait au moins désactiver ces copies en phases de train et de validation, car elles y sont inutiles.

_Originally posted by @CharlesGaydon in https://github.com/IGNF/myria3d/pull/14#discussion_r877079485_

MichelDaab commented 2 years ago

Pour la normalisation, je comprends qu'il faut conserver une possibilité de retourner aux positions non-normalisées. Y a-t-il une des deux séries de valeurs (normalisées vs non-normalisées) qui est très peu utilisée ? Si c'est le cas il serait possible de ne conserver que la série la plus utilisée (mettons celle normalisée) et les coefs de passage de normalisée à non-normalisée, et lorsqu'il faut les valeurs non-normaliser de les recalculer à partir des valeurs normalisées et des coefs.

Pour le sous-échantillonnage je ne m'y connais pas encore assez pour saisir l'intérêt de le faire "à la main" plutôt que de laisserl e modèle le faire

CharlesGaydon commented 2 years ago

Corrigé avec https://github.com/IGNF/myria3d/pull/33 - on fait des copies différentes suivant les phases train/val/test/predict.