LSTM Additional model 적용 및 몇 가지 기능 구현

[sangmandu]

1. LSTM Additional model 적용

LSTM 모델이 성공적으로 적용되었습니다. 성능은 비슷하거나 그 보다 좀 낮지만 더 좋은 모델을 attach했을 때 성능이 오를 수 있다는 가능성을 보였습니다. 이로 인해 다음과 같은 변경사항이 있습니다.

• 기존 /code/models는 /output 경로로 사용하게 됩니다. 이는 attached model을 관리하기 위한 model 폴더가 추가됨에 따라 혼동을 방지하기 위함입니다.
• 따라서 training_args.output_dir은 ../output으로 설정되었습니다.
• model argument에 additional_model이 추가되었습니다. 기본적으로 None으로 설정되며 attach할 모델의 이름을 적을 수 있습니다. 대소문자 상관없이 입력가능하며 현재는 lstm만 가능합니다.
• 앞으로 개발될 QANet.py 미리 추가해두었습니다.
• 하위폴더 라이브러리 참조를 위한 init.py가 추가되었습니다.

2. 몇 가지 기능 구현

run name 추가

• 기존 output_dir/project name 으로 모델의 위치가 결정되었는데, run name이 추가되었습니다. 따라서, 현재는 output_dir/ proejct name/run name 의 경로로 모델이 생성됩니다.
• project name의 경우 default는 None이지만 None으로 설정되어 있으면 오류가 발생합니다. 그럼에도 None으로 default를 설정한 이유는 하드 코딩 방식을 선호할 수 있기 때문에 남겨두었으며, 터미널에서 커맨드 인자로 설정할 수 있습니다.
• run name의 경우 default는 exp이지만 wandb에서 해당 실험이 무엇이었는지 보기위해 명시하기를 권장합니다.

increment path

• 이 함수는모델이 생성 될 위치에 이미 폴더가 존재한다면 새로운 폴더를 추가합니다. 폴더가 겹치는 일이 없도록 하여, 1) 이전 체크포인트를 이어서 실행 2) 가끔씩 발생하는 예외처리를 만나지 않도록 3) 사용자의 편의를 위해 추가했습니다. 다만 이전 체크포인트에서 모델을 불러오는 일은 어려워졌습니다. 이를 위해서는 utils_qa.py의 400번째에 위치한 increment path 라인을 주석 처리해야 합니다.
• (🔥중요) 이미 폴더가 존재한다면, increment path로 인해 설정한 run name이 변경될 수 있습니다. inference시에는 이를 반드시 유의해주세요. 아니면 잘못된 결과가 나오고 이로 인해 팀전체에게 잘못된 결과를 가져다 줄 수 있습니다.
• (🌌대안) 따라서, 이를 위해 with_inference 옵션을 추가했습니다. 이는 항상 True되어있고 train이 끝나면 늘 같이 inference가 수행됩니다. False로 설정하면 train만 이루어지는데 이 때 다시 따로 inference를 할 것이라면 run name이 변경되었는지를 꼭 유의해야합니다. 이 기능을 위해 arguments.py에 with inference 인자가 추가되었습니다

기타

• retrieval.py에서 metavar로 되어있던 인자 부분을 default로 변경하였습니다.
• inference 에서는 쓰지 않는 do_eval 부분 코드를 제거했습니다.
• prefix가 추가되어 prediction에 run name이 추가됩니다.

[raki-1203]

좋은 것 같습니다. 👍

[whatchang]

이미 폴더가 존재한다면, increment path로 인해 설정한 run name이 변경될 수 있습니다. inference시에는 이를 반드시 유의해주세요. 아니면 잘못된 결과가 나오고 이로 인해 팀전체에게 잘못된 결과를 가져다 줄 수 있습니다.

이 부분의 의미가 이미 폴더가 존재한다면 increment path로 인해서 다른 폴더명으로 저장이 되는데 inference시에 이 부분을 고려하지 않고 사용한다면 새로운 모델이 아닌 기존의 이미 사용했던 모델로 inference가 된다는 의미이죠?

제가 잘 이해한게 맞나요?

[raki-1203]

이미 폴더가 존재한다면, increment path로 인해 설정한 run name이 변경될 수 있습니다. inference시에는 이를 반드시 유의해주세요. 아니면 잘못된 결과가 나오고 이로 인해 팀전체에게 잘못된 결과를 가져다 줄 수 있습니다.

이 부분의 의미가 이미 폴더가 존재한다면 increment path로 인해서 다른 폴더명으로 저장이 되는데 inference시에 이 부분을 고려하지 않고 사용한다면 새로운 모델이 아닌 기존의 이미 사용했던 모델로 inference가 된다는 의미이죠?

제가 잘 이해한게 맞나요?

잘 이해한게 맞는 것 같습니다!!