LLama训练过程中,训练的语料对原有问题的回答有干扰时，这种情况该如何调参。

[lijiecheng]

1、使用LLama训练语料的过程中,当语料中有较多图1格式的问答时,在提问和训练的语料无关的问题，回答结果会按照训练的语料格式进行回答。源2.0在进行大预言训练的时候，如果某一种格式的语料较多时，对非语料中的问题进行提问时，会产生产生干扰，这种情况要如何调参

图1

图2

2、训练出来的语料在提问的时候，会出现一直循环打印相同的内容

[zhaoxudong01]

第二个问题，生成重复内容，可以考虑加入重复性惩罚参数，我们在5c6fc64已经更新了该功能