search

SKT-AI / KoGPT2

Korean GPT-2 pretrained cased (KoGPT2)
Other
532 stars 98 forks source link

Pretraining 관련 질문입니다. #23

Closed seongminp closed 4 years ago

seongminp commented 4 years ago

안녕하세요.

KoGPT2를 트레이닝하는데에 사용된 리소스와 시간이 궁금합니다. 어떤 환경(GPU 등)에서 pretrain된 것인지 알 수 있을까요? 20GB텍스트를 학습하는데에 소요된 시간도 궁금합니다. Epoch은 어떻게 결정하셨나요?

감사합니다.

haven-jeon commented 4 years ago

https://www.amazon.science/latest-news/amazon-scientists-help-sk-telecom-create-korean-based-natural-language-processor 에 대략적인 환경 설명이 되어 있습니다.

Epoch은 이전 에폭 대비 evaluation 성능차 1% 미만에서 결정했습니다. 배치사이즈는 32GB V100 GPU에 모두 들어갈 만큼 사용했습니다. 배치 사이즈는 float16, float32에 따라 다릅니다만, 최대한 메모리를 모두 사용할 수 있게 정했습니다.

seongminp commented 4 years ago

답변 감사합니다. Evaluation은 트레이닝에 사용되지 않은 데이터셋에서 next word prediction 테스크로 이루어지는 것인가요?

haven-jeon commented 4 years ago

네.. ppl로 봤습니다.

seongminp commented 4 years ago

옙 감사합니다!