Так же хорошим тоном считается вынесение составных частей пайплайна в отдельные скрипты. Чтобы с одной стороны избежать огромных файлов с кучей контента в них, где легко запутаться и сложно читать, с другой, чтобы иметь возможность переиспользовать уже написанный и проверенный код в разных экспериментах (или между эксперментом и инференсом).
Обычно это делают следующим образом:
создаётся папочка src/
внутри неё добавляются скрипты для тренировки, аугментаций, преобразований данных, датасета и т.п.
А так же создаются точки входа src/train.py и src/inference.py, для экспериментов и инференса соответственно.
Так же хорошим тоном считается вынесение составных частей пайплайна в отдельные скрипты. Чтобы с одной стороны избежать огромных файлов с кучей контента в них, где легко запутаться и сложно читать, с другой, чтобы иметь возможность переиспользовать уже написанный и проверенный код в разных экспериментах (или между эксперментом и инференсом).
Обычно это делают следующим образом: создаётся папочка src/ внутри неё добавляются скрипты для тренировки, аугментаций, преобразований данных, датасета и т.п. А так же создаются точки входа src/train.py и src/inference.py, для экспериментов и инференса соответственно.