Closed ouyangyu closed 3 years ago
建议说明一下，显存记录可能不准确的问题。我们在测试中发现显存会在一些情况下上下跳动，而且megatron官方记录的显存和从nvidia-smi看到的显存不一致。
这个 PR 抓紧合并
chengtbf
commented
3 years ago chengtbf
commented
3 years ago
建议说明一下，显存记录可能不准确的问题。我们在测试中发现显存会在一些情况下上下跳动，而且megatron官方记录的显存和从nvidia-smi看到的显存不一致。