search

ssbuild / chatglm_finetuning

chatglm 6b finetuning and alpaca finetuning
1.54k stars 176 forks source link

大佬好，请问关于制作数据缓存的问题 #198

Closed IamRoBota closed 1 year ago

IamRoBota commented 1 year ago

大佬好，我数据量很大，缓存数据集成record形式倒是完成了，但是训练的时候加载数据，似乎是需要全部加载到内存中，导致爆内存了。（数据量小的时候训练没问题，其他没改动）。请问有什么方式可以分块调用数据吗？

ssbuild commented 1 year ago

按照readme 所说 ， 按照自己的需求 调整 enable_IterableDataset

IamRoBota commented 1 year ago

按照readme 所说 ， 按照自己的需求 调整 enable_IterableDataset

谢谢大佬，才发现readme下面更新了