[BUG] Sparse Embedding Model 절대 경로 관련 이슈

[LeeJeongHwi]

Describe the bug

• SparseRetrieval Class 내에 vectorizer_path가 절대 경로로 설정되어 있어 inference 과정에서 vectorizer를 불러오기가 어려움

• inference과정에서 사용되는 ODQA/modules/sparseRetrieval.py

  def __init__(self, args_inf, wiki_path):
  self.args_inf = args_inf
  self.args_ret = load_config(args_inf.retrieval_config) # Sparse Retrieval Config Load
  self.wiki = self.wiki_load(wiki_path)
  self.tokenizer = AutoTokenizer.from_pretrained(
      self.args_ret.tokenizer_model_name,
      use_fast = True
  )
  self.retrieval = SparseRetrieval(
      embedding_method=self.args_ret.embedding_method,
      tokenizer = self.tokenizer,
      contexts = self.wiki
  )
  ...
  def get_contexts(self):
  # load Sparse_Embeddings
  method = self.args_ret.embedding_method
  match method: 
      case "tfidf":
          self.retrieval.get_sparse_embedding_tfidf() # 기존 retrieval 코드에 있는 함수 사용
          pass
      case "bm25":
          self.retrieval.get_sparse_embedding_bm25()
          pass

Possible Solution

• config내에 vectorizer_path 추가하여 config에 맞는 vectorizer를 불러올 수 있도록 설정

[minjijeong98]

@LeeJeongHwi 정휘님, 남겨주신 이슈에서 수정할 사항을 명확히 하고자 두가지 질문드립니다.

• 기존 코드에서는 config 파일에서 embedding_method를 입력하면, 알아서 이 종류에 맞는 vectorizer path를 불러오도록 구성되어 있었습니다.
  • 기존 예1. "embedding_method"=="tfidf"
    • -> emb path: ../model/tfidf_sparse_embedding.bin
    • -> vectorizer path: ../model/tfidf.bin
  • 기존 예2. "embedding_method"=="bm25"
    • -> vectorizer path: ../model/bm25.bin
• 질문 1. 이처럼 자동으로 할당하는게 아니라, config에서 경로를 직접 받아오기를 원하시는걸까요?
• 질문 2. 덧붙여, 위에서 예시로 보여주신, inference과정에서 사용되는 ODQA/modules/sparseRetrieval.py코드 중 어느 부분에서 vectorizer_path가 필요한건지 궁금합니다.

    # retrieval/sparse/src/sparse_retrieval.py
   # 기존 vectorizer 로딩 코드 (예: TF-IDF; BM25도 유사한 방식으로 구성되어 있음)

    def get_sparse_embedding_tfidf(self) -> NoReturn:
        pickle_name = f"{self.embedding_method}_sparse_embedding.bin"
        vectorizer_name = f"{self.embedding_method}.bin"
        emb_path = os.path.join("../model", pickle_name)
        vectorizer_path = os.path.join("../model", vectorizer_name)

        if os.path.isfile(vectorizer_path) and os.path.isfile(emb_path):
            logger.info("Loading TF-IDF pickle files.")
            with open(vectorizer_path, "rb") as file:
                self.tfidfv = pickle.load(file)
            with open(emb_path, "rb") as file:
                self.p_embedding = pickle.load(file)

{
    "corpus_data_path": "/data/ephemeral/home/datasets/v0.0.1/wikipedia_documents.json",
    "vectorizer_path": "/data/ephemeral/home/minji/retrieval/sparse/model/bm25.bin",
    "embedding_method": "bm25",
    "topk": 10,
    "tokenizer_model_name": "klue/bert-base",
    "eval_data_path": "/data/ephemeral/home/datasets/v0.0.1/train_dataset",
    "eval_metric": ["hit", "mrr"]
}

[LeeJeongHwi]

@minjijeong98 남겨주신 질문에 대해서 답변 드리겠습니다.

답변1. config에서 경로를 직접 받아오는 편이 좋을 것 같습니다. 현재 inference 코드는 ODQA 폴더 내에 있는 inference.py 코드를 실행시키기때문에 ../ 상대 경로를 사용할 시 inference.py가 있는 폴더를 기준으로 불러오게 됩니다. 그래서 질문에서 말씀하신대로 config에 있는 경로로 바로 받을 수 있도록 하는게 좋을 것 같습니다. 맨 아래 config 예시의 vectorizer_path에서 bm25.bin 부분만 제외하면 될 것 같습니다. ex) vectorizer_path = os.path.join(args.vectorizer_path, vectorizer_name)

답변2. 현재 아직 PR을 올리지 않은 상태라 github에선 볼 수 없지만, 알고리즘은 다음과 같습니다.

1. sparseRetrieval.py에서 선택된 method를 기반으로 SparseRetrieval class에 대한 객체 생성
2. 생성된 객체에 있는 함수인 SparseRetrieval.get_sparse_embedding_{method} 함수 실행
3. embedding 생성 후 SparseRetrieval.retrieve() 함수를 사용하여 dataframe을 받아옴
4. 받아온 dataframe으로 Reader로 전달

이 과정에서 2번에 해당하는 부분에 vectorizer_path가 필요합니다.

[minjijeong98]

아하 상대경로로 되어 있어서 호출이 잘 안되는 문제를 말씀하신거군요~ 이해했습니다. 절대경로라고 적혀있어서 헷갈렸네요. 그 부분 수정한 뒤에 댓글 남기겠습니다

[minjijeong98]

@LeeJeongHwi 정휘님 PR 남겼으니 확인 부탁드려요:)