[Dataset] fill mask task로 딥러닝 pretraining 시킬 때 데이터셋 사용범위

[KyungHyunLim]

주제

• fill mask task로 딥러닝 pretraining 시킬 때 데이터셋 사용범위

상황 (자세히 작성해주시면 좋습니다.)

• 오픈소스에 공개된 모델을 가져와 custom하고, 여러 LM 모델을 학습시키는 방법이었던, fill mask, nsp task 로 학습을 먼저 시켜 이것을 기반으로 대화요약 task fine tuning을 하려고 합니다.

내용 (첨부 가능한 이미지 추가해주시면 더 좋습니다.)

• 대화 요약 task가 아닌, pretrained 모델을 만들기 위해서 fill mask, nsp task 등으로 학습을 시킬때, 데이터셋을 모두 활용해도 되는지 아니면 train data만 이용해야 될지 문의드립니다.

기타 문의 사항

-

[dacon-murdoch]

안녕하세요. 현재 진행 중인 문서요약 task의 경우 외부 데이터의 사용을 금지하고 있습니다. 따라서 train data만을 활용하여 학습을 진행해 주시면 감사하겠습니다.