Research Scaling GPUs - Githubissues

new5558 commented 1 year ago

3 วิธีหลักในการสเกลโมเดล 3D Parallelism:

Advanced data parallelism เจอว่ามีอะไรที่เหนือว่า DDP ปกติด้วย (FSDP, Sharded DDP, Zero-2, Zero-3, Activation checkpointing, LAMB, 1 bit Adam)
Pipeline parallelism อันนี้ผล benchmark flops เด็ดมาก (Gpipe, Pipedream)
Model/Tensor parallelism (Megatron)

เทคนิคอื่นๆ:

CPU offloading สำหรับเทรนโมเดลใหญ่ใน GPU เครื่องเดียว
Gradient accumulation ที่มาในฐานะ hyperparamters ที่ส่งผลอย่างมากกับ Compute Flops Efficiency มากๆเมื่อใช่ร่วมกับ 3D Parallelism เวลาเทรนกับ Cluster ขนาดใหญ่

kwankoravich commented 1 year ago

Interested

new5558 commented 1 year ago

volunteer

new5558 commented 1 year ago

Will contact @kwankoravich to arrange presentation together

OpenThaiGPT / openthaigpt-pretraining