BentoML 을 활용하여 딥러닝 모델 API 서빙하기

[utterances-bot]

BentoML 을 활용하여 딥러닝 모델 API 서빙하기

‘투자줌 뉴스 카테고리 분류 딥러닝 모델’을 BentoML 로 패키징하여 서빙한 경험에 대해 공유합니다.

https://zuminternet.github.io/BentoML/

[minyul]

👍👍

[ssilb4]

빅데이터팀의 에이스 글 잘 읽었습니다~ bentoml 사용 전에는 어떤 mlops 서비스를 사용/비교한 걸까요?

[jaylnne]

@ssilb4 안녕하세요! 서비스 개발에 mlops 툴을 사용해본 것은 bentoml 이 처음이고, 조사 과정에서 접했던 mlops 툴들은 kubeflow, mlflow, torchserve, sagemaker, KFserving 등 매우 다양하지만 그 중 모델 '서빙'에 집중했다는 점에서는 bentoml 과 torchserve 중에 가장 많은 고민을 했습니다. (KFserving 은 아직 불안정한 프로젝트인듯 보여 진작 제외했고, 또 제가 tensorflow 보다는 pytorch 로 개발하는 경우가 더 많아서요.) 하지만 제가 속했던 mlops 개발자 커뮤니티에서는 bentoml 이 조금 더 자주 언급이 되는 듯했고, 다양한 딥러닝 프레임워크를 지원하는 bentoml 이 범용성 측면에서도 더 좋다고 생각되어 이것을 선택했습니다!