issues
search
Grading-X
/
Grading-X-BE
http://3.34.49.173:8080/swagger-ui/index.html#/
0
stars
0
forks
source link
AI 모델 작동 방식 제안
#32
Closed
chaejm55
closed
5 months ago
chaejm55
commented
6 months ago
개요
현재 로컬에서는 ProcessBuilder로 AI 모델을 작동시켰으나 서버 도커 환경에서는 이것이 불가능.
또한 멘토님도 이 방식은 나중에 부하가 높아질 수 있다고 추천하지 않았음.
그래서 새로운 방식이 필요
제시된 방법들
파이썬 이미지를 가진 docker 컨테이너를 새로 만들어 docker network 통신으로 결과 받기
spirng boot onnx 등을 통해 모델을 classpath로 등록해서 사용
트라이톤 서버를 이용해 처리
각 방법의 장단점
docker network: 구현이 간단하나, http 통신의 오버헤드 가능성 존재
onnx 등 embedded AI: 스프링 내부에서 처리할 수 있으나, 모델의 용량이 커지면 빌드 시간이 길어짐
트라이톤 서버: 속도 향상과 메모리 사용량이 줄어드나, 구현의 어려움과 러닝커브 존재
chaejm55
commented
5 months ago
회의 결과
embedded ai와 트라이톤 서버는 새로 배울 내용이 많고 구현도 어려운데 문서가 부족하여 탈락.
그렇다고 HTTP를 쓰기에는 overhead가 있어보임
따라서 HTTP/2를 사용하는 gRpc를 사용해 overhead를 줄이고 통신속도를 조금이나마 개선해보고자함.
개요
제시된 방법들
각 방법의 장단점