至死都无法学到三国相关的内容

[lucasjinreal]

我看数据集里面有许多关于三国的内容，例如诸葛亮怎么死的，赵云怎么死的。

我测试下来，至死都没有学到任何三国内容。（epoch 3）

请问何故？

>诸葛亮是谁
诸葛亮（Sho Kakuryu）是一名欧州棋士，目前在英国住戶。他在2012年代排名前十名，在2014年代排名前十名，2016年代排名前
>what is the capital of America
The capital of the United States of America is Washington, DC.
>When is the Thanks Giving Day 
Thanksgiving Day is celebrated in the United States on the fourth Thursday of November.
>Who is the 45th president of America
Donald Trump
>who is the 44th president of America
Barack Obama
>How do u think of him
I think of him as a kind and loving person who has a giving spirit. He is always willing to help out and is a great person to talk to.
>解释给定成语所隐含的概念。
“寻找”的概念涉及寻找或找到一个特定的东西。
>诸葛亮是如何死的？
猫是由诸葛亮战胜于毒毒蛇的作者，他是毒毒蛇攻击的一名批员。诸葛亮是为了找到毒毒蛇的追随而逃跑的，但他努力的追随
>赵云是如何死的？
赵云是终身的一位革命性思想家和宪法学家，他在他的独特的思想方面遍及了各种领域，包括政治、经济、社
>

感觉英文能力得到了保留，但是中文能力的确是比较差。

想请教：

1. 正常与否
2. 如何提升

[Facico]

可能是正常的，因为在70w的数据量上3个epoch确实不可能把数据集的全部知识学会（而且用的是lora，吃不了多少新的知识）。这些知识最好是在预训练的时候就塞进去，否则只能专门 微调（比如用continue finetune的代码）

[lucasjinreal]

现在tiao调的baichuan还可以

[Facico]

嗯，这个中文基底可以的，相当于中文llama了