Open Chandler-Bing opened 10 months ago
基于上述的几个优化技术,我们在千卡 A800 显卡上达到了 7B 模型 182 TFLOPS 的吞吐,GPU 峰值算力利用率高达 58.3%。
吞吐Throughput 应该指的是训练速度,eg. 3000 token/s/gpu
Required prerequisites
Questions
吞吐Throughput 应该指的是训练速度,eg. 3000 token/s/gpu
Checklist