Closed ouyangyu closed 3 years ago
建议说明一下,显存记录可能不准确的问题。我们在测试中发现显存会在一些情况下上下跳动,而且megatron官方记录的显存和从nvidia-smi看到的显存不一致。
这个 PR 抓紧合并
建议说明一下,显存记录可能不准确的问题。我们在测试中发现显存会在一些情况下上下跳动,而且megatron官方记录的显存和从nvidia-smi看到的显存不一致。