Open hopeforus opened 11 months ago
处理到473000 左右的时候,系统就kill掉了,不知道是什么原因,内存128,GPU 显存48G 不过这个时候还用不到显存吧?
难道是内存炸裂了?按道理不应该啊,你这128G的内存,或许可以试试分片处理
我试了几次,又看了日志,确实是内存炸了,我尝试用unlimit - v限制内存好像也不管用,分片具体怎么实现呢? 小白一个,请指导
4730000 这个位置,不知道后面还有多少?
建议分片处理数据,我是分成了10片,然后在统一的整合到pretrain.bin里头
我试了几次,又看了日志,确实是内存炸了,我尝试用unlimit - v限制内存好像也不管用,分片具体怎么实现呢? 小白一个,请指导
最简单的把json分成10个小json文件,依次处理
多谢! | 胡红亮 | |
---|---|---|
@. | ---- 回复的原邮件 ---- | 发件人 | @.> | | 发送日期 | 2023年09月09日 11:54 | | 收件人 | DLLXW/baby-llama2-chinese @.> | | 抄送人 | hopeforus @.>, Author @.***> | | 主题 | Re: [DLLXW/baby-llama2-chinese] 处理百度数据集的时间报错 (Issue #25) |
建议分片处理数据,我是分成了10片,然后在统一的整合到pretrain.bin里头
— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>
处理到473000 左右的时候,系统就kill掉了,不知道是什么原因,内存128,GPU 显存48G 不过这个时候还用不到显存吧?