bucketing / dynamic padding

[ggoggori]

기능 추가

필요한 기능을 적어주세요. bucketing / dynamic padding

기능 설명

bucketing

추가 내용

추가적인 내용이 있다면 적어주세요.

[ggoggori]

bucketing 적용

기존

• bucketing을 적용 후 성능은 거의 비슷하게 유지되고 있고 속도는 약 2.7배 빨라졌습니다.

train_steps_per_second 비교

• after bucketing : 3.536 steps/s
• before bucketing : 1.301 steps/s

[ggoggori]

R-BERT에서의 Bucketing 적용 완료

68.2376 74.0716 - normal R-BERT 67.8804 72.5166 - bucketing적용한 R-BERT

bucketing을 R-BERT에 적용한 코드에서 성능검증이 어느정도 완료되었습니다. r-bert branch에 올려놓았습니다. 일반 R-BERT 학습 시간이 약 1시간 30분 소요된 것 대비 bucketing 적용한 R-BERT는 40분 소요됩니다.