请问模型评估以及策略可视化在哪里？

caoyaru123 commented 1 year ago

作者您好，我现在已经训练了，也进行了人机对话，但是没有发现模型的f automatic evaluation是哪个代码。以及如何进行可视化查看策略分布。麻烦作者告知，非常感谢

chujiezheng commented 1 year ago

模型在测试集上做inference时会自动进行evaluation。可视化部分没有提供代码，可以根据论文中的说明简单绘制

caoyaru123 @.***>于2022年12月26日周一18:15写道：

作者您好，我现在已经训练了，也进行了人机对话，但是没有发现模型的f automatic evaluation是哪个代码。以及如何进行可视化查看策略分布。麻烦作者告知，非常感谢 [image: image] https://user-images.githubusercontent.com/121163561/209537061-f86a1e12-1ef8-4d8c-a122-d095f89d973e.png [image: image] https://user-images.githubusercontent.com/121163561/209537152-479606c8-9776-4f89-9dc6-55ef4409531c.png

— Reply to this email directly, view it on GitHub https://github.com/thu-coai/Emotional-Support-Conversation/issues/19, or unsubscribe https://github.com/notifications/unsubscribe-auth/AI4OQDKAWKSBNN2IFFTRANLWPFV45ANCNFSM6AAAAAATJRLSSA . You are receiving this because you are subscribed to this thread.Message ID: @.***>

caoyaru123 commented 1 year ago

谢谢您，请问评估的结果是默认存储在哪个文件下的，不好意思，我没有找到。

---原始邮件--- 发件人: "Chujie @.> 发送时间: 2022年12月26日(周一) 晚上6:18 收件人: @.>; 抄送: @.**@.>; 主题: Re: [thu-coai/Emotional-Support-Conversation] 请问模型评估以及策略可视化在哪里？ (Issue #19)

模型在测试集上做inference时会自动进行evaluation。可视化部分没有提供代码，可以根据论文中的说明简单绘制

caoyaru123 @.***>于2022年12月26日周一18:15写道：

> 作者您好，我现在已经训练了，也进行了人机对话，但是没有发现模型的f automatic > evaluation是哪个代码。以及如何进行可视化查看策略分布。麻烦作者告知，非常感谢 > [image: image] > <https://user-images.githubusercontent.com/121163561/209537061-f86a1e12-1ef8-4d8c-a122-d095f89d973e.png> > [image: image] > <https://user-images.githubusercontent.com/121163561/209537152-479606c8-9776-4f89-9dc6-55ef4409531c.png> > > — > Reply to this email directly, view it on GitHub > <https://github.com/thu-coai/Emotional-Support-Conversation/issues/19>, > or unsubscribe > <https://github.com/notifications/unsubscribe-auth/AI4OQDKAWKSBNN2IFFTRANLWPFV45ANCNFSM6AAAAAATJRLSSA> > . > You are receiving this because you are subscribed to this thread.Message > ID: @.***> >

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

chujiezheng commented 1 year ago

应该是模型checkpoint同目录下

caoyaru123 @.***>于2022年12月26日周一18:20写道：

谢谢您，请问评估的结果是默认存储在哪个文件下的，不好意思，我没有找到。

---原始邮件--- 发件人: "Chujie @.> 发送时间: 2022年12月26日(周一) 晚上6:18 收件人: @.>; 抄送: @.**@.>; 主题: Re: [thu-coai/Emotional-Support-Conversation] 请问模型评估以及策略可视化在哪里？ (Issue

19)

模型在测试集上做inference时会自动进行evaluation。可视化部分没有提供代码，可以根据论文中的说明简单绘制

caoyaru123 @.***>于2022年12月26日周一18:15写道：

> 作者您好，我现在已经训练了，也进行了人机对话，但是没有发现模型的f automatic > evaluation是哪个代码。以及如何进行可视化查看策略分布。麻烦作者告知，非常感谢 > [image: image] > < https://user-images.githubusercontent.com/121163561/209537061-f86a1e12-1ef8-4d8c-a122-d095f89d973e.png>

> [image: image] > < https://user-images.githubusercontent.com/121163561/209537152-479606c8-9776-4f89-9dc6-55ef4409531c.png>

> > — > Reply to this email directly, view it on GitHub > < https://github.com/thu-coai/Emotional-Support-Conversation/issues/19>, > or unsubscribe > < https://github.com/notifications/unsubscribe-auth/AI4OQDKAWKSBNN2IFFTRANLWPFV45ANCNFSM6AAAAAATJRLSSA>

> . > You are receiving this because you are subscribed to this thread.Message > ID: @.***> >

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

— Reply to this email directly, view it on GitHub https://github.com/thu-coai/Emotional-Support-Conversation/issues/19#issuecomment-1365063351, or unsubscribe https://github.com/notifications/unsubscribe-auth/AI4OQDOSX6DK7KOGYT6ZONLWPFWODANCNFSM6AAAAAATJRLSSA . You are receiving this because you commented.Message ID: @.***>

caoyaru123 commented 1 year ago

谢谢，评估结果表找到了。不好意思还有两个问题：一是发现评估表里只有freq_loss和freq_ppl，没有BLEU-2(B-2)、ROUGE-L (R-L)、Extrema这三个指标二是随着我的epoch的增加，loss值反而在增大

------------------ 原始邮件 ------------------ 发件人: "thu-coai/Emotional-Support-Conversation" @.>; 发送时间: 2022年12月26日(星期一) 晚上6:21 @.>; 抄送: "22级博士 @.**@.>; 主题: Re: [thu-coai/Emotional-Support-Conversation] 请问模型评估以及策略可视化在哪里？ (Issue #19)

应该是模型checkpoint同目录下

caoyaru123 @.***>于2022年12月26日周一18:20写道：

> 谢谢您，请问评估的结果是默认存储在哪个文件下的，不好意思，我没有找到。 > > > > ---原始邮件--- > 发件人: "Chujie @.> > 发送时间: 2022年12月26日(周一) 晚上6:18 > 收件人: @.>; > 抄送: @.**@.>; > 主题: Re: [thu-coai/Emotional-Support-Conversation] 请问模型评估以及策略可视化在哪里？ (Issue > #19) > > > > > 模型在测试集上做inference时会自动进行evaluation。可视化部分没有提供代码，可以根据论文中的说明简单绘制 > > caoyaru123 @.>于2022年12月26日周一18:15写道： > > > 作者您好，我现在已经训练了，也进行了人机对话，但是没有发现模型的f automatic > > evaluation是哪个代码。以及如何进行可视化查看策略分布。麻烦作者告知，非常感谢 > > [image: image] > > < > https://user-images.githubusercontent.com/121163561/209537061-f86a1e12-1ef8-4d8c-a122-d095f89d973e.png&gt; > > > [image: image] > > < > https://user-images.githubusercontent.com/121163561/209537152-479606c8-9776-4f89-9dc6-55ef4409531c.png&gt; > > > > > — > > Reply to this email directly, view it on GitHub > > < > https://github.com/thu-coai/Emotional-Support-Conversation/issues/19&gt;, > > or unsubscribe > > < > https://github.com/notifications/unsubscribe-auth/AI4OQDKAWKSBNN2IFFTRANLWPFV45ANCNFSM6AAAAAATJRLSSA&gt; > > > . > > You are receiving this because you are subscribed to this > thread.Message > > ID: @.> > > > > — > Reply to this email directly, view it on GitHub, or unsubscribe. > You are receiving this because you authored the thread.Message ID: > @.> > > — > Reply to this email directly, view it on GitHub > <https://github.com/thu-coai/Emotional-Support-Conversation/issues/19#issuecomment-1365063351>, > or unsubscribe > <https://github.com/notifications/unsubscribe-auth/AI4OQDOSX6DK7KOGYT6ZONLWPFWODANCNFSM6AAAAAATJRLSSA> > . > You are receiving this because you commented.Message ID: > @.> >

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

chujiezheng commented 1 year ago

参考这里，获取测试集上评估结果需要运行infer.py，评估指标会存放在metric.json里
基于blenderbot训太多会过拟合，一般1-2个epoch就够了

caoyaru123 commented 1 year ago

找到了，谢谢。不过评估结果跟论文结果不一样。我的复杂度值偏小，blue-2值偏大

chujiezheng commented 1 year ago

论文中的实验是用repo里的另一份代码跑的。
受随机种子的影响，文本生成实验的自动指标不太好完全复现。后续follow ESC的论文里的指标也各不相同。

caoyaru123 commented 1 year ago

好的，谢谢您

---原始邮件--- 发件人: "Chujie @.> 发送时间: 2022年12月29日(周四) 上午10:58 收件人: @.>; 抄送: @.**@.>; 主题: Re: [thu-coai/Emotional-Support-Conversation] 请问模型评估以及策略可视化在哪里？ (Issue #19)

论文中的实验是用repo里的另一份代码跑的。

受随机种子的影响，文本生成实验的自动指标不太好完全复现。后续follow ESC的论文里的指标也各不相同。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

thu-coai / Emotional-Support-Conversation

请问模型评估以及策略可视化在哪里？ #19

19)