search

THUDM / ChatGLM3

ChatGLM3 series: Open Bilingual Chat LLMs | 开源双语对话语言模型
Apache License 2.0
13.19k stars 1.52k forks source link

finetune_hf.py中的resume_from_checkpoint部分可能存在影响性能以及值得改进的地方 #1272

Closed pandong2011 closed 3 weeks ago

pandong2011 commented 1 month ago

WechatIMG80 如图： ------红色部分的代码是为了寻找最新的checkpoint的step ------绿色1是从最新的checkpoint恢复训练 ------绿色2是从指定的checkpoint恢复训练 一.如果从指定的checkpoint恢复训练执行绿色2的代码，实际上却先要去执行红色部分的代码来进行循环获取最新的checkpoint的step，如果这部分的checkpoint目录很多可能会大大延长训练的时间。而红色部分的代码实际是为绿色部分1服务的 二.黄色部分的代码是存在冗余，应该是可以抽取出来的

pandong2011 commented 1 month ago

@zRzRzRzRzRzRzR 我以为你会分配给我呢，都已经实现了。不过算了，你那边自己实现也是一样的

zRzRzRzRzRzRzR commented 1 month ago

啊，这个是我看到了这个需求，受理了，还没处理 欢迎给我们提交贡献😂。

pandong2011 commented 1 month ago

@zRzRzRzRzRzRzR 那你分配给我吧