可以出一版验证集的process-func吗(Qwen、llama模型的数据集格式)？

datawhalechina / self-llm

《开源大模型食用指南》基于Linux环境快速部署开源大模型，更适合中国宝宝的部署教程

Apache License 2.0

6.08k stars 748 forks source link

Closed demouo closed 2 weeks ago

demouo commented 3 weeks ago

如果验证集和训练集使用同一个process-func最后会爆内存。

logan-zou commented 2 weeks ago

您好，验证集的 process_func 和训练是一致的，如果爆显存应该是验证集数据比训练集长导致的，建议降低验证集数据长度