AI 모델 작동 방식 제안

[chaejm55]

개요

• 현재 로컬에서는 ProcessBuilder로 AI 모델을 작동시켰으나 서버 도커 환경에서는 이것이 불가능.
• 또한 멘토님도 이 방식은 나중에 부하가 높아질 수 있다고 추천하지 않았음.
• 그래서 새로운 방식이 필요

  제시된 방법들

• 파이썬 이미지를 가진 docker 컨테이너를 새로 만들어 docker network 통신으로 결과 받기
• spirng boot onnx 등을 통해 모델을 classpath로 등록해서 사용
• 트라이톤 서버를 이용해 처리

  각 방법의 장단점

• docker network: 구현이 간단하나, http 통신의 오버헤드 가능성 존재
• onnx 등 embedded AI: 스프링 내부에서 처리할 수 있으나, 모델의 용량이 커지면 빌드 시간이 길어짐
• 트라이톤 서버: 속도 향상과 메모리 사용량이 줄어드나, 구현의 어려움과 러닝커브 존재

[chaejm55]

회의 결과

1. embedded ai와 트라이톤 서버는 새로 배울 내용이 많고 구현도 어려운데 문서가 부족하여 탈락.
2. 그렇다고 HTTP를 쓰기에는 overhead가 있어보임
3. 따라서 HTTP/2를 사용하는 gRpc를 사용해 overhead를 줄이고 통신속도를 조금이나마 개선해보고자함.