关于 pretrain 阶段的 loss

[alanxmay]

首先感谢作者的这份工作，想请教下预训练阶段的loss情况。

1. 数据：使用了编程语言的文档，
2. 参数：和该论文一致
3. loss从8.0开始快速下降到0.2左右（有注意到 llama 论文中，loss 是从2左右开始下降的）
4. 测试下来并未发现和原始 llama 有多大的区别

想请教下作者在预训练阶段loss是什么情况呢，感谢~

[chaoyi-wu]

5epochs后大约一点多，你的loss似乎不太正常，你可以提供更多关于你的数据集的信息，我觉得有可能问题在数据上。

[alanxmay]

感谢，确实是数据处理存在问题，昨天fix之后正常了。