Continual Learning을 위한 CI / CD 지원

Continual Learning

새로운 데이터가 축적되면 기존 모델을 재학습

Automatic: Event, Perioidic,
Manual

모델 재학습 프로세스 자동화 재학습 결과물인 모델 버전 관리

CI/CD 파이프라인

모델 학습후 변경 사항을 자동 빌드, 테스트, 배포하는 CI/CD 파이프라인 구축
재학습된 새로운 모델을 포함한 App을 자동으로 배포하고 모니터링

Dataset update에 따른 Pipeline Iteration logic

AutoNN, CodeGen, Target Deploy 부분 iterate

Project Manager 추가 요구사항

Version/Registry Management
- Dataset : Version Registry
- Model Meta Info: Trained Model Registry
  - weight file, training parameter, hyperparameter, etc
- Deployed Application with NN : App. Container Image Registry
- etc.

데이타셋 준비

COCO 데이터셋의 train.txt를 다음과 같이 6개의 버전으로 TANGO Pipeline iteration마다 PM(Project Manager)에서 /shared/datasets/coco/ 폴더 아래에 생성한다.

train_0000.txt : 50% 데이타셋 (for 0번째 iteration)
train_0001.txt : 60% 데이타셋 (for 1번째 iteration)
train_0002.txt : 70% 데이타셋
train_0003.txt : 80% 데이타셋
train_0004.txt : 90% 데이타셋
train_0005.txt : 100% 데이타셋 (for 6번째 iteration)

val.txt는 iteration과 무관하게 모델의 학습을 평가하기 위하여 동일한 것을 사용한다.

TANGO 프레임워크 API 업데이트

member container에게 현재 진행중인 iteration의 정보를 전달하기 위하여 다음과 같이 v_suffix 파라메터 추가

request from PM to member container

start(project_id=<project_id>, user_id=<user_id>, v_suffix=<v_suffix> )
stop(project_id=<project_id>, user_id=<user_id>, v_suffix=<v_suffix> )
status_request(project_id=<project_id>, user_id=<user_id>, v_suffix=<v_suffix> )

request from member container to PM

status_report(container_id=<container_id>, user_id=<user_id>, project_id=<project_id>, status=<status>, v_suffix=<v_suffix> )

v_suiffix format

width 4 decimal string filled with leading zeros
start from '0000

TODO:

조현우 책임이 제안하는 AutoNN 로그 시각화를 반영하여 수정할 필요있음.

멤버 컨테이너간 전달용 데이타의 버전관리

/shared/common/user_id/project_id/ 폴더 아래에서 관리되는 컨테이너간 전달용 데이타의 버전 관리를 위하여 다음과 같이, version suffix(_NNNN)를 추가하여 구분한다.

project_info.yaml (PM에서 생성)
basemodel.yaml (BMS에서 생성) : 2024년에는 BMS가 AutoNN이 통합되므로 불필요
neural_net_info_NNNN.yaml (AutoNN에서 생성)
- bestmodel_NNNN.onnx (AutoNN에서 생성)
- bestmodel_NNNN.pt (AutoNN에서 생성)
- model.py (AutoNN에서 생성)
deployment _NNNN.yaml (Code Gen에서 생성)
nn_model _NNNN (Code Gen에서 생성)
nn_model _NNNN.zip (Code Gen에서 생성)

참고: TANGO Guides | Exchanging Data among Containers

얼마나 많은 버전을 유지할 것인가?

학습된 모델의 weight가 저장되는 .pt의 경우, 파일 크기가 크므로 무한정 저장할 수는 없다. PM내부에서 유지할 최대 갯수(VERSION_MAX)를 내부적으로 정하고 최근 VERSION_MAX개의 버전만 유지

컨테이너에서의 버전 고려사항

AutoNN (2024년에는 BMS와 기존 AutoNN 기능 통합)에서는 다음과 같이 입출력시 pipeline iteration정보를 나타내는 version suffix를 사용하여야 한다.

input: consider version suffix to use /shared/datasets/dataset_name subfolders
ouput: add version suffix in model weight file (.pt, .onnx)
- neural_net_info_NNNN.yaml

Code Gen에서도 다음과 같이 입출력시 pipeline iteration정보를 나타내는 version suffix를 사용하여야 한다.

input: consider version suffix to use neural_net_info_NNNN.yaml
ouput: versioning needed or not?

Code Gen의 출력물에 대하여 버전을 유지할 필요가 있을까??

ML-TANGO / TANGO

CI CD 지원 #155

Continual Learning을 위한 CI / CD 지원