search

huiyang865 / plugnet

67 stars 14 forks source link

Can't reach the accuracy proposed in paper. #5

Open minglii1998 opened 3 years ago

minglii1998 commented 3 years ago
IIIT5k SVT IC03 IC13 IC15 SVTP CUTE
Paper 94.4 92.3 95.7 95.0 82.2 84.3 85.0
Reproduce 93.5 90.6 91.7 94.0 79.1 82.8 78.5

上表为我们根据这个代码复现出来的结果，和论文中给出的acc差得有点多，并且SR的结果也极差，训练和测试数据同样使用的aster.pytorch提供的。在复现过程中，使用的就是main_train.sh中的超参，没有任何更改。请问这是怎么回事呢？您是否在给出的代码之外使用了其他的trick？或者您能够提供您训练好的模型吗？ 谢谢

I wonder if there's any other can reproduce the same performance, please @ me . Thanks a Lot!

huiyang865 commented 3 years ago

Due to business competition, we only open some relevant core code for reference and communication of relevant researchers. Pretraining models and specific training methods cannot be provided in open source at present.

huiyang865 commented 3 years ago

You can try to iterate more training epochs and adjust learning rate to be smaller. Acc can further upgrade. Also training with different batch_size and optimizers, acc will also be waved.

ulanbator commented 3 years ago

IIIT5k SVT IC03 IC13 IC15 SVTP CUTE Paper 94.4 92.3 95.7 95.0 82.2 84.3 85.0 Reproduce 93.5 90.6 91.7 94.0 79.1 82.8 78.5 上表为我们根据这个代码复现出来的结果，和论文中给出的acc差得有点多，并且SR的结果也极差，训练和测试数据同样使用的aster.pytorch提供的。在复现过程中，使用的就是main_train.sh中的超参，没有任何更改。请问这是怎么回事呢？您是否在给出的代码之外使用了其他的trick？或者您能够提供您训练好的模型吗？ 谢谢

I wonder if there's any other can reproduce the same performance, please @ me . Thanks a Lot!

您好，看您跑通了代码，能够提供一份完整的项目代码？我的邮箱地址是：e19301193@stu.ahu.edu.cn

minglii1998 commented 3 years ago

IIIT5k SVT IC03 IC13 IC15 SVTP CUTE Paper 94.4 92.3 95.7 95.0 82.2 84.3 85.0 Reproduce 93.5 90.6 91.7 94.0 79.1 82.8 78.5 上表为我们根据这个代码复现出来的结果，和论文中给出的acc差得有点多，并且SR的结果也极差，训练和测试数据同样使用的aster.pytorch提供的。在复现过程中，使用的就是main_train.sh中的超参，没有任何更改。请问这是怎么回事呢？您是否在给出的代码之外使用了其他的trick？或者您能够提供您训练好的模型吗？ 谢谢 I wonder if there's any other can reproduce the same performance, please @ me . Thanks a Lot!

您好，看您跑通了代码，能够提供一份完整的项目代码？我的邮箱地址是：e19301193@stu.ahu.edu.cn

你好，这份代码跑通应该是没有问题的，我就直接下载下来改了路径就可以跑通了，主要还是acc太低。 因为这个代是在aster.pytorch的基础上更改的，所以如果有什么问题的话不妨去直接看看这份aster.pytorch代码？

ulanbator commented 3 years ago

你好，感谢回复。但是论文中提到的使用两个随机参数控制超分辨率模块的特征增强（高斯模糊和4倍上下采样），在代码中并未找到，您是自己复现了吗？

minglii1998 commented 3 years ago

你好，感谢回复。但是论文中提到的使用两个随机参数控制超分辨率模块的特征增强（高斯模糊和4倍上下采样），在代码中并未找到，您是自己复现了吗？

不好意思，我当时并未复现这两个模块，我直接run了这个代码。 我在结束训练后查看了acc和其超分结果，acc已经贴在上面，而所谓的超分结果的输出看着感觉就是一堆随机噪声，可能网络不仅没有学到超分的能力，甚至可能就没有学到文字的appearance，而这种问题绝不是上述的两个小改动可以解决的。 后来我舍弃了这篇文章的backbone，只保留了其超分支RCAN并加入了aster的backbone中，发现RCAN依然无法学习到文字的appearance，其效果甚至不如2层卷积+3层反卷积。 再后来我就没再关注过这个代码具体是哪里出了问题了，直到您这几天@了我。

ps：刚刚发现这个库直接把训练的代码拿掉了，只保留了模型的部分，然而在之前是一个可以直接跑通的完整代码。 ps：This repository used to be a complete program, which can be run by simply adding the training and testing data path. But now it seems that the writer deleted most of its parts and only the model structures were left.

ulanbator commented 3 years ago

感谢！

Shaosifan commented 3 years ago

你好，感谢回复。但是论文中提到的使用两个随机参数控制超分辨率模块的特征增强（高斯模糊和4倍上下采样），在代码中并未找到，您是自己复现了吗？

不好意思，我当时并未复现这两个模块，我直接run了这个代码。 我在结束训练后查看了acc和其超分结果，acc已经贴在上面，而所谓的超分结果的输出看着感觉就是一堆随机噪声，可能网络不仅没有学到超分的能力，甚至可能就没有学到文字的appearance，而这种问题绝不是上述的两个小改动可以解决的。 后来我舍弃了这篇文章的backbone，只保留了其超分支RCAN并加入了aster的backbone中，发现RCAN依然无法学习到文字的appearance，其效果甚至不如2层卷积+3层反卷积。 再后来我就没再关注过这个代码具体是哪里出了问题了，直到您这几天@了我。

ps：刚刚发现这个库直接把训练的代码拿掉了，只保留了模型的部分，然而在之前是一个可以直接跑通的完整代码。 ps：This repository used to be a complete program, which can be run by simply adding the training and testing data path. But now it seems that the writer deleted most of its parts and only the model structures were left.

您好，请问您后续有实现本文的效果不啊？本文论文中的方法还值得可信不啊？

ulanbator commented 3 years ago

未实现，已经放弃。

------------------ 原始邮件 ------------------ 发件人: "ls"<notifications@github.com>; 发送时间: 2021年1月13日(星期三) 晚上10:23 收件人: "huiyang865/plugnet"<plugnet@noreply.github.com>; 抄送: "1742133696"<1742133696@qq.com>; "Comment"<comment@noreply.github.com>; 主题: Re: [huiyang865/plugnet] Can't reach the accuracy proposed in paper. (#5)

你好，感谢回复。但是论文中提到的使用两个随机参数控制超分辨率模块的特征增强（高斯模糊和4倍上下采样），在代码中并未找到，您是自己复现了吗？

不好意思，我当时并未复现这两个模块，我直接run了这个代码。 我在结束训练后查看了acc和其超分结果，acc已经贴在上面，而所谓的超分结果的输出看着感觉就是一堆随机噪声，可能网络不仅没有学到超分的能力，甚至可能就没有学到文字的appearance，而这种问题绝不是上述的两个小改动可以解决的。 后来我舍弃了这篇文章的backbone，只保留了其超分支RCAN并加入了aster的backbone中，发现RCAN依然无法学习到文字的appearance，其效果甚至不如2层卷积+3层反卷积。 再后来我就没再关注过这个代码具体是哪里出了问题了，直到您这几天@了我。

ps：刚刚发现这个库直接把训练的代码拿掉了，只保留了模型的部分，然而在之前是一个可以直接跑通的完整代码。 ps：This repository used to be a complete program, which can be run by simply adding the training and testing data path. But now it seems that the writer deleted most of its parts and only the model structures were left.

您好，请问您后续有实现本文的效果不啊？本文论文中的方法还值得可信不啊？

— You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe.

Shaosifan commented 3 years ago

好吧，本以为还可以借鉴一下= =

Lininggggggg commented 3 years ago

IIIT5k SVT IC03 IC13 IC15 SVTP CUTE Paper 94.4 92.3 95.7 95.0 82.2 84.3 85.0 Reproduce 93.5 90.6 91.7 94.0 79.1 82.8 78.5 上表为我们根据这个代码复现出来的结果，和论文中给出的acc差得有点多，并且SR的结果也极差，训练和测试数据同样使用的aster.pytorch提供的。在复现过程中，使用的就是main_train.sh中的超参，没有任何更改。请问这是怎么回事呢？您是否在给出的代码之外使用了其他的trick？或者您能够提供您训练好的模型吗？ 谢谢

I wonder if there's any other can reproduce the same performance, please @ me . Thanks a Lot!

大佬，能不能把您之前下载的具有训练代码的打包发给我下，我的邮箱是1296889948@qq.com 我现在想复现它的结果，并做一些改进， 麻烦您了啊！

qinb commented 2 years ago

利用原始代码直接训练，训练效果是，SR模块出来的图片也是一堆随机噪声，没有任何关注字符的轮廓。期待作者的回复！ @huiyang865

StefanaUta commented 2 years ago

IIIT5k SVT IC03 IC13 IC15 SVTP CUTE Paper 94.4 92.3 95.7 95.0 82.2 84.3 85.0 Reproduce 93.5 90.6 91.7 94.0 79.1 82.8 78.5 上表为我们根据这个代码复现出来的结果，和论文中给出的acc差得有点多，并且SR的结果也极差，训练和测试数据同样使用的aster.pytorch提供的。在复现过程中，使用的就是main_train.sh中的超参，没有任何更改。请问这是怎么回事呢？您是否在给出的代码之外使用了其他的trick？或者您能够提供您训练好的模型吗？ 谢谢

I wonder if there's any other can reproduce the same performance, please @ me . Thanks a Lot!

Hello! Is there any way you could share the pre-trained weights? Thank you!