Création fichiers YAML qui définit tout les paramètres
Ajout paquet Jsonargparse dans le Dockerfile
Modifs outputs.py pour enregistrer les gribs dans le dossier indiqué dans le yaml
Dans lightning :
Les classes dl_settings et hparams sont instanciés dans les init plutôt qu'être passé dans les arguments de la fonction.
Reste à voir :
1) Le save_path :
model.yaml (par exemple halfunet.yaml) contient save_path, celui-ci est défini comme chemin par défaut pour stocker les poids et les logs. Il est aussi utilisé par le modèle pour stocker les métriques. Il y peut etre moyen d'automatiser tout cela ?
le trainer peut contenir un arg "default_root_dir" définit dans la doc ainsi :
"""
Default path for logs and weights when no logger or lightning.pytorch.callbacks.ModelCheckpoint callback passed
"""
Peut être faut il plutôt utiliser cette variable ?
1) Enfin, il y a plusieurs variables calculés dynamiquement dans le train que je n'ai pas inclus :
nb_nodes et les rangs (global, local, noeuds) définis au tout début du train.py
Ajout du module Lightning CLI..
Reste à voir : 1) Le save_path : model.yaml (par exemple halfunet.yaml) contient save_path, celui-ci est défini comme chemin par défaut pour stocker les poids et les logs. Il est aussi utilisé par le modèle pour stocker les métriques. Il y peut etre moyen d'automatiser tout cela ? le trainer peut contenir un arg "default_root_dir" définit dans la doc ainsi : """ Default path for logs and weights when no logger or lightning.pytorch.callbacks.ModelCheckpoint callback passed """ Peut être faut il plutôt utiliser cette variable ?
1) Enfin, il y a plusieurs variables calculés dynamiquement dans le train que je n'ai pas inclus :