각 장비에 추론을 요청하는 간단한 스케줄러 구현

[kh3654po]

30 에서 만들어진 시나리오대로 요청이 들어왔을 때 각 장비에 요청을 전달하는 스케줄러가 필요하다.

각 장비에 어떤 모델이 로드됐는지 파악하는 기능이 필요하고 어떤 장비에 요청을 전달할지에 대한 스케줄링 방식을 고민해야한다.

우선 간단하게 각 장비에 로드될 모델을 고정하고, 추론요청을 처리할 수 있는 장비에 라운드로빈으로 요청을 전달하는 간단한 스케줄러를 구현해보자

[kh3654po]

들어오는 요청에 따라 해당 요청을 처리할 수 있는 장비에 라운드 로빈으로 전달하는 스케줄러를 구현하였습니다. 해당 코드는 round_robin_scheduler.py에 있습니다.