关于code的疑惑

[JaggerZr]

你好，非常感谢您杰出的工作。我在阅读您的code的时候有2点疑惑：

1. 关于正则化那部分，您只是将本次的loranew_A与上一次的lora_A取了正则化，而您的paper里是让本次loranew_A与之前所有的lora_A取正则，我的理解是否有问题？
2. 我是nlp新手，不是很了解您的paper给出的avg的指标是什么，或者说计算的损失函数是什么？ 谢谢。

[cmnfriend]

1. 我们在训练完一个任务之后，会将在当前任务上训练的loranew参数与lora拼接，因此lora参数包含了过去任务的参数
2. avg就是每个任务的分数加起来求平均

------------------ 原始邮件 ------------------ 发件人: "cmnfriend/O-LoRA" @.>; 发送时间: 2023年11月9日(星期四) 下午4:52 @.>; @.***>; 主题: [cmnfriend/O-LoRA] 关于code的疑惑 (Issue #5)

你好，非常感谢您杰出的工作。我在阅读您的code的时候有2点疑惑：

关于正则化那部分，您只是将本次的loranew_A与上一次的lora_A取了正则化，而您的paper里是让本次loranew_A与之前所有的lora_A取正则，我的理解是否有问题？

我是nlp新手，不是很了解您的paper给出的avg的指标是什么，或者说计算的损失函数是什么？ 谢谢。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.***>

[JaggerZr]

非常感谢指导，麻烦具体点是什么分数呢

[cmnfriend]

exact match 准确率  

蕾米球 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年11月9日(星期四) 下午5:15 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [cmnfriend/O-LoRA] 关于code的疑惑 (Issue #5)

非常感谢指导，麻烦具体点是什么分数呢

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[JaggerZr]

predict metrics epoch = 1.0 predict_exact_match = 49.1941 predict_exact_match_for_SC = 30.2105 predict_exact_match_for_TC = 55.5219 predict_exact_match_for_agnews = 73.7368 predict_exact_match_for_amazon = 30.2105 predict_exact_match_for_dbpedia = 54.8158 predict_exact_match_for_yahoo = 38.0132

不好意思，我还想问一下，您这边order1最后一次训练agnews，predict结果比包含了很多其他数据集的结果SC、TC等，显然agnews的perf是最好的。其他的较差，是因为predict时是只用agnews的lora参数预测了其他的数据集，还是已经将所有的任务的lora参数融合了得到的结果呢，谢谢。

[cmnfriend]

    "epoch": 0.99,     "predict_exact_match": 76.648,     "predict_exact_match_for_SC": 53.9605,     "predict_exact_match_for_TC": 84.2105,     "predict_exact_match_for_agnews": 88.8289,     "predict_exact_match_for_amazon": 53.9605,     "predict_exact_match_for_dbpedia": 98.2895,     "predict_exact_match_for_yahoo": 65.5132 这是我们在LLaMA2上的实验结果，之后我会再用代码中的参数运行一次。 推理时会用到所有的参数。

 

蕾米球 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年11月9日(星期四) 下午5:54 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [cmnfriend/O-LoRA] 关于code的疑惑 (Issue #5)

predict metrics epoch = 1.0 predict_exact_match = 49.1941 predict_exact_match_for_SC = 30.2105 predict_exact_match_for_TC = 55.5219 predict_exact_match_for_agnews = 73.7368 predict_exact_match_for_amazon = 30.2105 predict_exact_match_for_dbpedia = 54.8158 predict_exact_match_for_yahoo = 38.0132

不好意思，我还想问一下，您这边order1最后一次训练agnews，predict结果比包含了很多其他数据集的结果SC、TC等，显然agnews的perf是最好的。其他的较差，是因为predict时是只用agnews的lora参数预测了其他的数据集，还是已经将所有的任务的lora参数融合了得到的结果呢，谢谢。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[JaggerZr]

谢谢您的回复，我没有质疑的意思。我想问一下，就是每次完成某个任务后，predict的结果，是已经将之前任务的lora参数融合在一起推理出来的吗？还是用当前任务的lora参数predict了之前所有任务？如果是第2个，我需要单独写代码进行融合是么？

[cmnfriend]

是已经融合了的，在训练结束后就会融合一次。融合的代码在peft/utils/save_and_load.py的第36行，每次保存模型时就会执行  

蕾米球 @.***

 

------------------ 原始邮件 ------------------ 发件人: @.>; 发送时间: 2023年11月9日(星期四) 晚上6:04 收件人: @.>; 抄送: @.>; @.>; 主题: Re: [cmnfriend/O-LoRA] 关于code的疑惑 (Issue #5)

谢谢您的回复，我没有质疑的意思。我想问一下，就是每次完成某个任务后，predict的结果，是已经将之前任务的lora参数融合在一起推理出来的吗？还是用当前任务的lora参数predict了之前所有任务？如果是第2个，我需要单独写代码进行融合是么？

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>

[JaggerZr]

predict metrics epoch = 1.0 predict_exact_match = 75.7599 predict_exact_match_for_SC = 52.3026 predict_exact_match_for_TC = 83.5789 predict_exact_match_for_agnews = 84.1842 predict_exact_match_for_amazon = 52.3026 predict_exact_match_for_dbpedia = 98.0526

llama-2-7b结果复现了 感谢你的帮助

[JorunoJobana]

predict metrics epoch = 1.0 predict_exact_match = 75.7599 predict_exact_match_for_SC = 52.3026 predict_exact_match_for_TC = 83.5789 predict_exact_match_for_agnews = 84.1842 predict_exact_match_for_amazon = 52.3026 predict_exact_match_for_dbpedia = 98.0526

llama-2-7b结果复现了 感谢你的帮助

您好，方便看下您的超参数吗，我在/scripts_llama/order_1.sh文件中仅把显卡改成单张3090，直接运行后效果很差。

[chengshuang18]

关于 olora 在 llama 上面的复现 我也有一些疑惑，楼主方便邮箱联系一下么，我的邮箱 chengshuang22s@ict.ac.cn