통합 AutoNN: 프로젝트 삭제(디렉토리 삭제) 대응 함수 추가, Warning Suppression, Visualization API 정리

[HyunwooCho]

PR 타입

하나 이상의 PR 타입을 선택해주세요.

• [ ] 기능 추가
• [ ] 기능 삭제
• [X] 버그 수정
• [X] 의존성, 환경 변수, 빌드 관련 코드 업데이트
• [ ] 기타

PR전 체크 사항

PR전 아래 사항을 확인하였는지 체크하시고 PR 생성 바랍니다.

• [X] 자신의 브랜치로 main 브랜치 최신 내용 반영후 동작 테스트 완료
• [X] 다른 작업자의 폴더내 파일 수정하지 않음.
• [ ] docker-compose.yml 수정한 경우, 수정에 따른 영향 평가

관련 이슈

157

PR 반영 브랜치

ETRI-tenace-AutoNN -> main

변경 사항

1. 프로젝트 삭제했을 때 공유 디렉토리 삭제에 대응

• AutoNN 시작하면 /shared/common/userid/ 아래의 모든 디렉토리를 검색하여, 삭제된 디렉토리에 해당하는 AutoNN의 자체 DB 정리
  • Info : general information for projects
  • Pth : Visualization에서 pytorch(pth) 모델을 출력한 경우의 데이터 저장(option)
• 아직 동작 중인 AutoNN process가 있을 경우, 종료(close)

2. 경고 메시지 프린트 안 하도록 함

• PyTorch에서 lr_scheduler가 optimizer보다 먼저 업데이트 하면 그것은 무시된다는 UserWarning 경고
  • 처음 한 번이며 그 다음 번 epoch 부터는 문제가 없음
  • 처음도 학습율이 먼저 바뀌는 부분을 무시하는 것이므로 큰 영향이 없음
• All-NaN 경고: 아직 학습 데이터 수가 충분하지 않을 경우 threshold를 넘는 결과가 없어서 모든 결과가 NaN으로 표시되는 RuntimeWarning
  • COCO128과 같이 너무 작은 데이터셋을 사용한 경우 발생
  • threshold를 낮추는 방법도 있으나 이것은 나중에 너무 많은 예측 후보군이 나오므로 많은 시간 소요 부작용
  • 학습이 충분히 진행되면 자연스럽게 사라지는 경고

3. Visualization API 정리

• Node, Edge, Pth만 남기고 나머지는 삭제(기존의 backend와의 통신을 위한 API들과 불필요한 Django Models 삭제)
• Backend와의 통신은 Info로 통일(Get/Patch)
• DB 역할이 강한 Node, Edge, Info는 FBV(Function-based view)에서 CBV(Class-based view)로 변경
• Action(command) 역할이 강한 Pth는 FBV 유지, 마찬가지로 start, status_request는 FBV 형태
• (option) 적절한 시기에 front-end의 template view를 펼치면 자동으로 base model을 읽어서 시각화하지만, 혹시 추후 수동으로 재로딩하고 싶을 경우를 위해 'Reload' 버튼 구현

4. 그 밖의 minor changes

• [Dockerfile] 프론트엔드의 베이스 도커 이미지를 node:16-alpine에서 LTS인 node:20-alpine으로 변경
  • 현재 LTS는 20, 22이고 공식 도커 허브에서 버전 18 이후만 관리하고 있기 때문에 변경
• [Dockerfile] 백엔드에서도 nodejs, npm 설치하도록 dockerfile 수정
  • 필요는 없는 것 같으나 기존 visualization의 dockerfile를 따르기 위해 추가함
• [urls.py] react의 favicon 경로를 찾아가도록 django path 설정
  • favicon.ico 없어도 아무 영향 없음
• tensorboardX의 thread exception을 피하기 위해 AutoNN 프로세스가 완료되었을 때 10초간 기다림
  • 현재는 사용하지 않지만 추후 사용을 고려하기 위한 텐서보드 기능을 일부 넣었음
  • 먼저 끝내고 나오면 thread exception이 뜨지만 AutoNN 자체는 running 상태로 유지되며 다음 번 프로젝트 수행에도 문제가 없음, 단지 thread exception이 계속 뜨는 것을 방지하기 위해 flush() 후 10초간 대기

테스트 결과

1. DB sync - 확인 완료
2. Warning suppression - 확인 완료
3. Viz API 동작 - 확인 완료
4. build & run - error 없음

(issue)

1. status_update의 id 중 model, train_end에 대해 허용되지 않은 Update Id로 나옴 -> PM의 소스 코드 확인이 필요함
2. status_request 주기가 5초 간격으로 너무 빨라서 status_report로 이미 completed를 보고한 이후에도 status_request가 다시 오고 있음 -> 간격을 10초로 늘려주면 좋겠음

-- update_id = model --

-- update_id = train_end --