GXYM / TextBPN-Plus-Plus

Arbitrary Shape Text Detection via Boundary Transformer;The paper at: https://arxiv.org/abs/2205.05320, which has been accepted by IEEE Transactions on Multimedia (T-MM 2023).
172 stars 37 forks source link

TD500复现问题。 #33

Open liuchenyu1 opened 8 months ago

liuchenyu1 commented 8 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

GXYM commented 8 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

论文里的TD500大部份结果,是现在MLT2017上预训练再在TD500上finetune的结果,论文里有说过。TD500的训练集数据较少,你可以把训练轮次设置成1200或者2000。

liuchenyu1 commented 8 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

论文里的TD500大部份结果,是现在MLT2017上预训练再在TD500上finetune的结果,论文里有说过。TD500的训练集数据较少,你可以把训练轮次设置成1200或者2000。

好的,我没有进行预训练采用的resnet50-1s,训练的轮次为1200次。F为70多,您论文中没有使用额外数据集的TD500为84.64,是2000轮次的结果吗? train: python train_textBPN.py --exp_name TD500 --net resnet50 --scale 1 --max_epoch 1200 --batch_size 12 --gpu 1 --input_size 640 --optim Adam --lr 0.001 --num_workers 8 --load_memory True eval: python eval_textBPN.py --net resnet50 --scale 1 --exp_name TD500 --checkepoch 1070 --test_size 640 960 --dis_threshold 0.35 --cls_threshold 0.875 --gpu 0;

eval.sh: cd dataset/TD500 rm submit.zip cp $1/.txt submit cd submit/;zip -r submit.zip &> ../log.txt ; sleep 3s mv submit.zip ../; cd ../ rm log.txt python Evaluation_Protocol/script.py -g=gt.zip -s=submit.zip

GXYM commented 8 months ago

dis_threshold 0.35 --cls_threshold 0.875

你训练完,可以在测试的时候,调试一下这个两个测数,dis_threshold 0.35 --cls_threshold 0.875,TD500数据集测试集很少,波动很大,另外测试的轮数,最好搜索一下,不能保证每次训练都是1070轮是最好结果,我们的数据增广是完全随机的。

AXNing commented 6 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

liuchenyu1 commented 6 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

这个原因是你的opencv-python的版本太高,你照着作者提供版本不要高于4.5.0。你试一下降低版本是否能正常,我降低版本后从0.5几到了0.7几。你看看你降低后是否能到达正常论文中的水平。如果你有效果希望回复一下

AXNing commented 6 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

这个原因是你的opencv-python的版本太高,你照着作者提供版本不要高于4.5.0。你试一下降低版本是否能正常,我降低版本后从0.5几到了0.7几。你看看你降低后是否能到达正常论文中的水平。如果你有效果希望回复一下

我在作者的预训练模型上,在td500训了1000epoch 测了一下在0.81

liuchenyu1 commented 6 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

这个原因是你的opencv-python的版本太高,你照着作者提供版本不要高于4.5.0。你试一下降低版本是否能正常,我降低版本后从0.5几到了0.7几。你看看你降低后是否能到达正常论文中的水平。如果你有效果希望回复一下

我在作者的预训练模型上,在td500训了1000epoch 测了一下在0.81

应该差不多wishing没用预训练模型。

AXNing commented 5 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

这个原因是你的opencv-python的版本太高,你照着作者提供版本不要高于4.5.0。你试一下降低版本是否能正常,我降低版本后从0.5几到了0.7几。你看看你降低后是否能到达正常论文中的水平。如果你有效果希望回复一下

我在作者的预训练模型上,在td500训了1000epoch 测了一下在0.81

应该差不多wishing没用预训练模型。

你没有用预训练模型在Totaltext上训练,结果是多少呢?我用一张3090跑的,没复现论文结果

liuchenyu1 commented 5 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

这个原因是你的opencv-python的版本太高,你照着作者提供版本不要高于4.5.0。你试一下降低版本是否能正常,我降低版本后从0.5几到了0.7几。你看看你降低后是否能到达正常论文中的水平。如果你有效果希望回复一下

我在作者的预训练模型上,在td500训了1000epoch 测了一下在0.81

应该差不多wishing没用预训练模型。

你没有用预训练模型在Totaltext上训练,结果是多少呢?我用一张3090跑的,没复现论文结果

在totaltext上进行训练是达到了论文结果的,大概在87.4几。

AXNing commented 5 months ago

您好,我使用您提供的TD500数据集进行复现,其效果只有70%几。复现Totaltext和CTW1500都没有问题,在TD500和icdar2015上效果都只有70几。后来降低了opencv-python==4.4.0.46,使用您提供的TD500训练好的模型是能达到论文效果。但是自己训练的模型还是只有70几。

您好,请问可以使用一下您的TD500训练好的模型吗,我的测试一直在0.5左右,我想判断一下我的评估函数是否有错误,谢谢

这个原因是你的opencv-python的版本太高,你照着作者提供版本不要高于4.5.0。你试一下降低版本是否能正常,我降低版本后从0.5几到了0.7几。你看看你降低后是否能到达正常论文中的水平。如果你有效果希望回复一下

我在作者的预训练模型上,在td500训了1000epoch 测了一下在0.81

应该差不多wishing没用预训练模型。

你没有用预训练模型在Totaltext上训练,结果是多少呢?我用一张3090跑的,没复现论文结果

在totaltext上进行训练是达到了论文结果的,大概在87.4几。

你使用的python是跟作者一样吗,我的python是3.7,totaltext训练出来结果只有0.8,请问是我的环境的问题吗