search

OpenLMLab / LOMO

LOMO: LOw-Memory Optimization
MIT License
974 stars 68 forks source link

Functions to measure the memory usage #38

Closed JiaxiangRen closed 1 year ago

JiaxiangRen commented 1 year ago

您好，感谢您的工作，我这里有两个问题。 1.您是否能提供衡量类似于figure2和table2中memory usage的函数，或者给予一些提示如何去实现。nvidia-smi好像不能正确的反应真正的显存占用。 2.table2中的memory是指的每个gpu平均的呢还是总共的显存占用？

KaiLv69 commented 1 year ago

您好。

  1. 可以参考https://github.com/OpenLMLab/LOMO/issues/36
  2. 指的是每个GPU平均的显存占用。