BM25의 병렬화 코드를 retrieval.py안으로 옮겼습니다.
이제 inference.py의 코드가 기존의 baseline 코드로 다시 회귀했고요.
inference .py가 아니더라도 다른 위치에서도 retrieval.retreive(...) 혹은 retrieval.get_relevant_docs(...) 뭐 이렇게 쓸때도 bm25로 instance을 만들었다면 자동으로 병렬화 진행되도록 했습니다.
query 수 240개 기준으로는 24초가 걸리고, 600개 기준으로는 56초가 걸립니다.
inference.py로 실제 테스트해봤을 때 기존의 값과 동일한 값 예측하는 것 확인했습니다.
민재님의 eval_retrieval 코드에서 잘 동작하는 것 확인했습니다.
Modified the parallel serach code of BM25
BM25의 병렬화 코드를 retrieval.py안으로 옮겼습니다. 이제 inference.py의 코드가 기존의 baseline 코드로 다시 회귀했고요. inference .py가 아니더라도 다른 위치에서도
retrieval.retreive(...)혹은retrieval.get_relevant_docs(...)뭐 이렇게 쓸때도 bm25로 instance을 만들었다면 자동으로 병렬화 진행되도록 했습니다.query 수 240개 기준으로는 24초가 걸리고, 600개 기준으로는 56초가 걸립니다. inference.py로 실제 테스트해봤을 때 기존의 값과 동일한 값 예측하는 것 확인했습니다. 민재님의 eval_retrieval 코드에서 잘 동작하는 것 확인했습니다.