issues
search
Oneflow-Inc
/
libai
LiBai(李白): A Toolbox for Large-Scale Distributed Parallel Training
https://libai.readthedocs.io
Apache License 2.0
390
stars
55
forks
source link
Xpu tokens
#559
Closed
Lusfie
closed
3 weeks ago
Lusfie
commented
3 weeks ago
在core里添加token monitor
libai/libai/engine/default.py 中修改 default trainer 的 build_writers 函数,增加 log_period 参数
libai/libai/utils/events.py 中修改 common metric printer 的 write 函数,增加对 tokens_throughtput 的输出
libai/projects/Llama/llama.py 中修改 SFTLoss 函数,添加 done_tokens 参数传递
libai/projects/Qwen/qwen2.py 中修改 SFTLoss 函数,添加 done_tokens 参数传递
libai/projects/Aquila/aquila.py 中修改 SFTLoss 函数,添加 done_tokens 参数传递
libai/projects/Baichuan/baichuan.py 中修改 SFTLoss 函数,添加 done_tokens 参数传递
libai/projects/ChatGLM/chatglm.py 中尚未定义 SFTLoss 函数,添加定义以及 done_tokens 参数传递
在core里添加token monitor