TorchServe Custom handler 리팩토링

[Slime0519]

• 현재 TorchServe handler를 init할 때 확장성이 너무 떨어지는 것 같음.
• 확장성, 재사용성이 높은 코드를 짤 필요가 있다.
• 현재 하드코딩되어 있는 부분들이 너무 많다.

• 여러 모델들을 추가하는 것을 가정하고 짜자.

  def initialize(self, ctx):
      self.manifest = ctx.manifest
  
      properties = ctx.system_properties
      model_dir = properties.get("model_dir")
      self.device = torch.device("cuda:" + str(properties.get("gpu_id")) if torch.cuda.is_available() else "cpu")
  
      #load modelconfig.json file
      model_config_path = os.path.join(model_dir, "modelconfig.json")
      with open(model_config_path, "r") as configfile:
          modelconfig = json.load(configfile)
  
      self.transformer_archived_path = modelconfig["modelpath"]
      self.model_category = modelconfig["model_name"]
  
      #self.transformers_path = "skt/kogpt2-base-v2"
  
      # Read model serialize/pt file
      if modelconfig["save_mode"] == "pretrained":
          serialized_file = self.manifest['model']['serializedFile']
          model_pt_path = os.path.join(model_dir, serialized_file)
          if not os.path.isfile(model_pt_path):
              raise RuntimeError("Missing the serialized file")
  
          checkpoint = torch.load(model_pt_path, map_location=self.device)
  
      self.model = GPTmodel()
      self.model.load_state_dict(checkpoint['model_state_dict'])
  
      self.tokenizer = PreTrainedTokenizerFast.from_pretrained(self.transformers_path, \
                                                              bos_token='</s>', \
                                                              eos_token='</s>', \
                                                              unk_token='<unk>', \
                                                              pad_token='<pad>', mask_token='<mask>')
      self.model.to(self.device)
      self.model.eval()
  
      logger.debug('Transformer model from path {0} loaded successfully'.format(model_dir))
      self.initialized = True

TO-DO

• [x] huggingface config.json, tokenzier_config.json과 연동될 수 있도록 설계하기
• [x] modelconfig과 연동하여 model/tokenizer loading하는 모듈 짜기

[Slime0519]

확장성 있는 Model / Tokenizer Load

Model

• 처음에는 분기문으로 특정 유형의 huggingface LM을 Load하려고 했으나, AutoModel을 사용하여 Load하는 것으로 변경.
• AutoConfig / AutoModel을 이용하여 save_pretrained로 저장한 config.json을 이용해 Model의 뼈대 load.
• 그 후 Serialized file을 이용해 weight를 불러오는 것으로 수정함.

  # Model definition
  class ConverstaionLM(nn.Module):
  def __init__(self,configpath = None):
      super(ConverstaionLM, self).__init__()
      #self.kogpt2 = GPT2LMHeadModel.from_pretrained(pretrained_path)
      assert configpath is not None, "Please put in model configuration file."
      config = AutoConfig.from_pretrained(configpath)
      self.converstaion_model = AutoModel.from_config(config)

  # in api_handler.py
  model_config_path = os.path.join(model_dir, "config.json")
  self.model = ConverstaionLM(configpath=model_config_path)

Tokenizer

• Hard-coding으로 Tokenizer를 로드함에 따라, 확장성이 떨어지는 문제가 있었음.
  • 특히 Wellness dataset학습 시 사용하는 tokenizer 세팅은 좀 특이해서, 나중에 다른 모델을 import 할 때 문제가 생길 수 있었음.
• 모델을 import할 때와 같이 AutoTokenizer로 바꿔서 load
• Save_pretrained로 저장한 tokenizer config file 3개와 model config file(config.json)을 한 폴더에 담아 load
• 4개의 파일이 모두 있어야 Tokenizer load 가능함.

  # model_dir contain config.json, tokenizer.json, tokenizer_config.json, speical_tokens_map.json
  self.tokenizer = AutoTokenizer.from_pretrained(model_dir)

TorchServe 실행 방법

• Configfile같은 폴더에 save_pretrained함수로 저장한 각각의 json형식 config 파일을 모두 옮겨 놓고, extra file로 올리면 될 듯.
• Test필요.(추후 명령어 업데이트하자)