Closed xiezipeng-ML closed 1 year ago
可以把 https://github.com/Oneflow-Inc/libai/blob/main/docs/source/tutorials/basics/Features.md 这个下面关于 zero不支持tensor parallel的NOTE给删了
依赖https://github.com/Oneflow-Inc/oneflow/pull/9975
再加一段修改吧.
把libai和projects下面所有的configs的recompute_grad
改成activation_checkpoint
还有类似的text_classification/configs/config.py
下面的eval_period=500
改成 evaluation=dict(eval_period=500)
eval_period
好的