yuanzhoulvpi2017 / zero_nlp

中文nlp解决方案(大模型、数据、模型、训练、推理)
MIT License
2.85k stars 355 forks source link

lora微调很难把握结果质量啊 多轮结果展示 貌似900轮后过拟合 但什么时候停止微调如何把握 #102

Closed alexhmyang closed 1 year ago

alexhmyang commented 1 year ago

为什么冰红茶和柠檬茶的味道一样?

100轮训练

冰红茶和柠檬茶的味道之所以相似,是因为它们都使用了茶碱和咖啡因作为调味剂,并添加了天然的调味剂和色素。这些成分在茶叶和柠檬中都可以找到,因此它们在味道上有一定的相似之处。此外,由于这些饮料都使用 了冰,也有助于增强它们的口感。


200轮训练

冰红茶和柠檬茶的味道并不完全相同,虽然它们都是茶饮料,但它们使用的原料和制作方法不同。

冰红茶使用红茶、糖、水和冰块制作,而柠檬茶使用柠檬汁、糖和茶制作。尽管它们使用相同的茶,但制作方法和原料的不同会导致它们的味道有所不同。

冰红茶和柠檬茶的味道类似也可能与它们使用的茶叶和柠檬有关。虽然它们使用的茶和柠檬不同,但茶叶和柠檬都有一种微妙的甜味和酸度,这可能使它们的味道非常相似。


500轮训练

冰红茶和柠檬茶的味道之所以相似,是因为它们都使用了茶和柠檬汁作为主要成分,并且它们都在饮料中添加了糖和其他添加剂。

茶和柠檬汁都是天然的成分,它们在饮料中的比例和比例是相似的,所以它们的味道也会相似。此外,冰红茶和柠檬茶中的茶和柠檬汁也具有相似的化学结构,这也是它们味道相似的原因之一。

冰红茶和柠檬茶的味道相似,是因为它们都使用了茶和柠檬汁作为主要成分,并且它们在饮料中添加了糖和其他添加剂。


900轮训练

冰红茶和柠檬茶的味道相似,可能是因为它们都使用了类似的配方和原材料。冰红茶和柠檬茶可能使用了相同的茶叶、果汁、香料和糖,因为它们都使用类似的天然调味品。此外,它们可能使用了类似的加工方法,例如将 茶叶和果汁混合,并在煮沸后冷却。

口味相似可能是因为它们使用的原材料和加工方法相似,而且它们可能使用了相同的配方和原材料。此外,它们可能使用了相似的调味剂,例如柠檬汁和柠檬,它们的味道非常相似。

冰红茶和柠檬茶的味道相似可能是因为它们都使用了类似的配方和原材料,并且它们可能使用了相同的调味剂。它们可能使用了类似的加工方法,因为它们使用了类似的天然调味品。

冰红茶和柠檬茶的味道相似可能是因为它们使用的原材料和加工方法相似,并且它们可能使用了相同的调味剂。它们可能使用了相似的配方和原材料。

总之,口味相似可能是因为它们使用了相似的配方和原材料,并且它们可能使用了相同的调味剂。它们可能使用了相似的加工方法,因为它们使用了类似的天然调味品。

它们可能使用了类似的配方和原材料,因为它们使用了相同的调味剂。它们可能使用了相似的加工方法,因为它们使用了类似的天然调味品。它们可能使用了相似的配方和原材料,因为它们使用了相同的调味剂。它们可能 使用了相似的加工方法,因为它们使用了类似的天然调味品。它们可能使用了相似的配方和原材料,因为它们使用了相同的调味剂。它们可能使用了相似的加工方法,因为它们使用了类似的天然调味品


900轮出现了重复回答的情况 所以训练到什么时候应该停止,现在没有一个准确的说明

同样的问题 出现在 其他问题上,比如: 天空为什么是蓝色?

900轮训练

天空呈现蓝色是因为光的散射。当太阳照射到地球大气层时,太阳辐射的蓝色光波比其他波长更容易散射。散射使蓝色光波比其他颜色的光波更快地穿过大气层到达观察者的眼睛。这种散射也会导致天空呈现出蓝色。

太阳光的蓝色光波比其他颜色的光波更容易散射,因此当太阳照射到地球大气层时,蓝色光波会更容易散射到其他方向,并导致天空呈现出蓝色。

此外,大气层中的气体和分子也会散射光波,并使其呈现出蓝色。这种现象称为散射,并导致天空呈现出蓝色。

天空呈现蓝色是由于光的散射,大气层中的气体和分子散射光波使其呈现出蓝色。


900轮出现了重复回答的情况

请问如果控制微调结果质量

cywjava commented 1 year ago

我也遇到了这样的情况,我觉得用不着训练这么多轮。所以我都是找前面的check point 里eval loss 较小的那个。。

aihaidong commented 1 year ago

我也有这种情况,但是为啥会出现这样的情况呢,我是偶尔会出现这种

yuanzhoulvpi2017 commented 1 year ago

lora想要好效果,难,这个就先关掉了,

worm128 commented 9 months ago

lora想要好效果,难,这个就先关掉了,

我觉得lora比官方那个ptuning准多了,ptuning经常灾难性遗忘