关于MNIST数据集上训练优化困难的问题

[Amanda-HuaDing]

您好，我在认真阅读了您的论文后尝试训练一个在MNIST数据集上、替代模型是中型网络、目标模型是大型网络的替代模型（您的代码中给出的）。超参数的选择我均采用了代码中给定的值，但是训练到280epoch后acc和att便很难提升。这时att的终端输出值只有27%左右。可否请问一下，您在训练的过程中，优化器的参数是否进行了调整呢，如果调整的话进行了哪些调整呢？

[yelusaleng]

@Amanda-HuaDing 您好，请问你训练280个epoch大概花了多久？

[Amanda-HuaDing]

@Amanda-HuaDing 您好，请问你训练280个epoch大概花了多久？

用远程服务器大约训练了两天左右？

[yelusaleng]

@Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了

[zhoumingyi]

@Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了

我设置1000个迭代不用跑完的，一般MNIST1-2天就有比较好的效果了，如果200-300来个epoch效果不太好可能需要调整下参数重新试试。

[zhoumingyi]

您好，我在认真阅读了您的论文后尝试训练一个在MNIST数据集上、替代模型是中型网络、目标模型是大型网络的替代模型（您的代码中给出的）。超参数的选择我均采用了代码中给定的值，但是训练到280epoch后acc和att便很难提升。这时att的终端输出值只有27%左右。可否请问一下，您在训练的过程中，优化器的参数是否进行了调整呢，如果调整的话进行了哪些调整呢？

你可以发一下代码给我

[yelusaleng]

@zhoumingyi 你好，可以列一下在mnist上训练的详细参数么，我这边使用代码里的默认参数跑出来的效果很差，完全达不到论文里的效果

[zhoumingyi]

@zhoumingyi 你好，可以列一下在mnist上训练的详细参数么，我这边使用代码里的默认参数跑出来的效果很差，完全达不到论文里的效果

如果你设置的dataset参数是'mnist'的话，dast-p可以试着把beta设置为1.0，这样效果应该会好很多，我代码的默认参数可能是根据dataset参数为'azure'来的。

[yelusaleng]

@zhoumingyi 你好，可以列一下在 mnist 上训练的详细参数么，我这边使用代码里的默认参数跑出来的效果很差，完全达不到论文里的效果

如果你设置的 dataset 参数是 'mnist' 的话，dast-p 可以试着把 beta 设置为 1.0，这样效果应该会好很多，我代码的默认参数可能是根据 dataset 参数为 'azure' 来的。

感谢，我试试

[yelusaleng]

@zhoumingyi 你好， 根据你的意见，我再次尝试训练，结果依旧不理想。 我的参数如下：epoch=120,lr=0.0001,beta1=0.5,alpha=0.2,beta=1,G_type=1 在这120个epoch里我选择了asr最高的一个epoch的权重进行了测试，测试结果如下：FGSM:23.72%, PGD=8.78, BIM=30.88, CW=1.32, 精度=79.95 此外，我发现net.py里的Net_m的结构有一处错误，我将F.log_softmax去掉后再次训练，结果有轻微提升：FGSM=26.75, PGD=9.32, BIM=31.13, CW=2.47, 精度=83.71

以上结果仍然离论文里的结果十分遥远， 能否麻烦您再次确认下详细参数，这个复现结果对我十分重要，谢谢。

[zhoumingyi]

@zhoumingyi 你好， 根据你的意见，我再次尝试训练，结果依旧不理想。 我的参数如下：epoch=120,lr=0.0001,beta1=0.5,alpha=0.2,beta=1,G_type=1 在这120个epoch里我选择了asr最高的一个epoch的权重进行了测试，测试结果如下：FGSM:23.72%, PGD=8.78, BIM=30.88, CW=1.32, 精度=79.95 此外，我发现net.py里的Net_m的结构有一处错误，我将F.log_softmax去掉后再次训练，结果有轻微提升：FGSM=26.75, PGD=9.32, BIM=31.13, CW=2.47, 精度=83.71

以上结果仍然离论文里的结果十分遥远， 能否麻烦您再次确认下详细参数，这个复现结果对我十分重要，谢谢。

你的邮箱可以告诉我一下，我把我的训练代码发给你，我这边测试20个迭代就有80多的成功率。你的准确率已经有80了，但是攻击成功率低可能是测试的攻击方法参数设置不太好。后续我会根据大家的问题把整个代码仓库更新一遍

[yelusaleng]

@zhoumingyi 感谢，yalesaleng@gmail.com

[jiaokailun]

我遇到了相同问题我可以将我的邮箱发给你嘛

[jiaokailun]

我的邮箱是 1500084536@qq.com

[Amanda-HuaDing]

请问您方便交流一下训练情况么？我按照默认参数训练，训练情况很不理想。不知道您在训练的时候结果如何？

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: yelusaleng @.> 发送时间: 2022年3月20日 12:34 收件人: zhoumingyi/DaST @.> 抄送: Amanda-HuaDing @.>, Mention @.> 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10)

@Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>

[jiaokailun]

我最近几天没有在看那个实验，我周末会有空再去做一下，我到时候和你交流一下情况可以嘛

------------------ 原始邮件 ------------------ 发件人: "zhoumingyi/DaST" @.>; 发送时间: 2022年10月11日(星期二) 下午3:11 @.>; @.**@.>; 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10)

请问您方便交流一下训练情况么？我按照默认参数训练，训练情况很不理想。不知道您在训练的时候结果如何？

发自我的iPhone

------------------ 原始邮件 ------------------ 发件人: yelusaleng @.> 发送时间: 2022年3月20日 12:34 收件人: zhoumingyi/DaST @.> 抄送: Amanda-HuaDing @.>, Mention @.> 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10)

@Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了

— Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.
You are receiving this because you were mentioned.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

[zhoumingyi]

请问您方便交流一下训练情况么？我按照默认参数训练，训练情况很不理想。不知道您在训练的时候结果如何？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: yelusaleng @.> 发送时间: 2022年3月20日 12:34 收件人: zhoumingyi/DaST @.> 抄送: Amanda-HuaDing @.>, Mention @.> 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10) @Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了 — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>

我更新了测试文件，你看看是不是测试的攻击参数不合适。

[zhoumingyi]

我最近几天没有在看那个实验，我周末会有空再去做一下，我到时候和你交流一下情况可以嘛 … ------------------ 原始邮件 ------------------ 发件人: "zhoumingyi/DaST" @.>; 发送时间: 2022年10月11日(星期二) 下午3:11 @.>; @.**@.>; 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10) 请问您方便交流一下训练情况么？我按照默认参数训练，训练情况很不理想。不知道您在训练的时候结果如何？ 发自我的iPhone ------------------ 原始邮件 ------------------ 发件人: yelusaleng @.> 发送时间: 2022年3月20日 12:34 收件人: zhoumingyi/DaST @.> 抄送: Amanda-HuaDing @.>, Mention @.> 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10) @Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了 — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.>

我更新了测试文件，你看看是不是测试的攻击参数不合适。

[jiaokailun]

这个是我的训练参数

------------------ 原始邮件 ------------------ 发件人: "zhoumingyi/DaST" @.>; 发送时间: 2022年10月11日(星期二) 下午3:21 @.>; @.**@.>; 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10)

请问您方便交流一下训练情况么？我按照默认参数训练，训练情况很不理想。不知道您在训练的时候结果如何？ 发自我的iPhone … ------------------ 原始邮件 ------------------ 发件人: yelusaleng @.> 发送时间: 2022年3月20日 12:34 收件人: zhoumingyi/DaST @.> 抄送: Amanda-HuaDing @.>, Mention @.> 主题: Re: [zhoumingyi/DaST] 关于MNIST数据集上训练优化困难的问题 (Issue #10) @Amanda-HuaDing 那照code里的默认参数，2000个epoch看来得10多天了。太慢了 — Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android. You are receiving this because you were mentioned.Message ID: @.***>

我更新了测试文件，你看看是不是测试的攻击参数不合适。

— Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: @.***>