ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

大佬好,请问关于制作数据缓存的问题 #198

Closed IamRoBota closed 1 year ago

IamRoBota commented 1 year ago

大佬好,我数据量很大,缓存数据集成record形式倒是完成了,但是训练的时候加载数据,似乎是需要全部加载到内存中,导致爆内存了。(数据量小的时候训练没问题,其他没改动)。请问有什么方式可以分块调用数据吗?

ssbuild commented 1 year ago

按照readme 所说 , 按照自己的需求 调整 enable_IterableDataset

IamRoBota commented 1 year ago

按照readme 所说 , 按照自己的需求 调整 enable_IterableDataset

谢谢大佬,才发现readme下面更新了