ddps-lab / tfserving-inference

0 stars 2 forks source link

master장비에서 각장비의 모델을 관리할 수 있는 기능 필요 #43

Open kh3654po opened 1 year ago

kh3654po commented 1 year ago

각 장비마다 성능이 달라 로드할 수있는 모델의 종류와 수에 제한이 있다. 들어오는 요청량에 따라 필요한 모델을 로드 및 언로드 할 수 있는 기능이 필요하다. 현재 각 장비에서 모델은 models.config 파일을 읽어 로드 된다. 따라서 이 파일을 수정하면 실시간으로 모델을 로드 및 언로드 가능하므로 마스터 장비에서 이 파일을 수정할 수 있어야한다.

파이썬 모듈중 paramiko는 ssh 연결을 통해 파일을 수정할 수 있다. 이 모듈을 사용하여 장비의 모델을 관리하는 기능을 구현한다.