search

jingyaogong / minimind

「大模型」3小时完全从0训练26M的小参数GPT，个人显卡即可推理训练！
https://jingyaogong.github.io/minimind
Apache License 2.0
2.7k stars 329 forks source link

修复wandb bug & 添加了argparse #44

Closed iomgaa-ycz closed 1 month ago

iomgaa-ycz commented 1 month ago
  1. 修复了在torchrun命令下wandb会执行两次初始化的bug
  2. 添加了argparse，以方便在终端控制超参数

接下来我希望添加Acclerate，以实现比torchrun更好的多gpu训练，但有一个细节希望与您确认，我的微信号ycz050516-110720

jingyaogong commented 1 month ago
  1. 修复了在torchrun命令下wandb会执行两次初始化的bug
  2. 添加了argparse，以方便在终端控制超参数

接下来我希望添加Acclerate，以实现比torchrun更好的多gpu训练，但有一个细节希望与您确认，我的微信号ycz050516-110720

gongjy.cs@qq.com @iomgaa-ycz 抱歉微信号用于其它事务，工作和交流个人偏向使用邮件沟通，欢迎讨论任何事宜

iomgaa-ycz commented 1 month ago

您好，请问。可不可以回复一下邮件，不然我没办法开展进一步的工作。非常感谢您的帮助！

jingyaogong commented 1 month ago

您好，请问。可不可以回复一下邮件，不然我没办法开展进一步的工作。非常感谢您的帮助！

@iomgaa-ycz 抱歉我查看了一下， 453***883@qq.com 是你吗 如果不是，可能gmail丢邮件了，貌似没发现其它邮件，可以发到gongjy.cs@qq.com重新联系我 如果是，已经回复