search

DLLXW / baby-llama2-chinese

用于从头预训练+SFT一个小参数量的中文LLaMa2的仓库；24G单卡即可运行得到一个具备简单中文问答能力的chat-llama2.
MIT License
2.34k stars 288 forks source link

想问下训练的数据和epoch数 #39

Open YuzhouPeng opened 9 months ago

YuzhouPeng commented 9 months ago

你好，我pretrain和sft各训练了8轮，输出还是胡言乱语，我用的baidu+wiki+医疗train作为pretrain数据集没有改数据，sft也没有改数据集。其他参数都没改，用的初始参数，没有用sft_to_pretrain，想问下您那边是怎么训的？

YuzhouPeng commented 9 months ago

answer: AI武器（机械防雷炉杂代技术的发展历程与影响因素：人物概述：李凯伟：我们-现代机器专业工程师 个人客户、技术客服团队：未知

answer: 学校贫困程度促进调查机构成立地点：（https斯顿特塔·Hayzvahhanvoc行动中心 或用布色“Sv”（德基字母）、中等女孩参加或加入儿童俱乐部；根据实际情况选择考虑合适条件。）。）成立于

answer: 小麻粉糖糕片：《小麻素蛋制法示文》（Felies & Kale Jutio inchavon. P左右集品，蛋和麻酱的比例7％）：A.F/al

answer: 主餐车前：《哥林比早餐餐机的主人？”在英语词典书中中没有找到 and inBooker的小说名称“男装车主”：是什么食品 这是一个食品系的大学校歌吗？这句话并没有提到在餐场的男性：由乔治、埃塔特家族第三支——凯利。因此主单说主歌在早餐菜单中可能并没有在餐棒的食品，或者吃什么？那么那么这个主单可以定义或者指示何一种描述或术语名称

answer: y{p(pv!??)>中立自的药物：莫那洛拉）：药物治疗药物反应 (tupuric共享单车,混合骑单向运行)（2级的精神支持辅助]是一个在疫情期间爆发的一种医院疾病的治愈困难通常持续了80分钟甚至1个小时的服务员可能会感到体重体重在最大范围内在症状之一，这种患者可能会比非最大化的药物在症状之前表现出体重最大且与该症状相似。在疫情爆发时可以

DLLXW commented 9 months ago

还是尝试将模型尽量往大了做吧。loss啥的看看是否正常，是否能够到2.x。

YuzhouPeng commented 9 months ago

还是尝试将模型尽量往大了做吧。loss啥的看看是否正常，是否能够到2.x。

loss降到1.5了，还是不行，训练数据有什么好的推荐吗？

DLLXW commented 6 months ago

还是尝试将模型尽量往大了做吧。loss啥的看看是否正常，是否能够到2.x。

loss降到1.5了，还是不行，训练数据有什么好的推荐吗？

看看效果不好应该是这个原因 https://github.com/DLLXW/baby-llama2-chinese/issues/50