shengtao96 / CentripetalText

29 stars 6 forks source link

total text评估精度比论文稍低 #11

Open huangjun12 opened 2 years ago

huangjun12 commented 2 years ago

使用提供的预训练模型,按README文档进行评估,精度比paper稍低一些,请问下符合预期吗?

metric P R F
code 88.07 80.48 84.10
paper 88.8 81.4 84.9

test命令:

python3.7 test.py config/ct/ct_r18_tt.py ckpt/ct_r18_tt/checkpoint.pth.tar

eval命令:

cd eval
bash eval_tt.sh

均使用python3.7

GivanTsai commented 2 years ago

使用提供的预训练模型,按README文档进行评估,精度比paper稍低一些,请问下符合预期吗?

metric P R F code 88.07 80.48 84.10 paper 88.8 81.4 84.9 test命令:

python3.7 test.py config/ct/ct_r18_tt.py ckpt/ct_r18_tt/checkpoint.pth.tar

eval命令:

cd eval
bash eval_tt.sh

均使用python3.7

请问你totaltext测试集的标注文件Groundtruth是在哪里下载的,我在官方github这里没找到,只有训练集的

huangjun12 commented 2 years ago

使用提供的预训练模型,按README文档进行评估,精度比paper稍低一些,请问下符合预期吗? metric P R F code 88.07 80.48 84.10 paper 88.8 81.4 84.9 test命令:

python3.7 test.py config/ct/ct_r18_tt.py ckpt/ct_r18_tt/checkpoint.pth.tar

eval命令:

cd eval
bash eval_tt.sh

均使用python3.7

请问你totaltext测试集的标注文件Groundtruth是在哪里下载的,我在官方github这里没找到,只有训练集的

image

https://drive.google.com/file/d/19quCaJGePvTc3yPZ7MAGNijjKfy77-ke/view?usp=sharing 这个就是吧?

GivanTsai commented 2 years ago

我也得到跟你一样的结论,如果使用额外数据finetune,差距会更大 test命令: python3 test.py config/ct/ct_r18_tt_finetune.py checkpoints_v0/ct_r18_tt_finetune/checkpoint.pth.tar eval命令: cd eval && bash eval_tt.sh

得到的结果:

metric | P | R | F -- | -- | -- | -- code | 88.99 | 81.62 | 85.15 paper | 90.5 | 82.5 | 86.3
GivanTsai commented 2 years ago

使用提供的预训练模型,按README文档进行评估,精度比paper稍低一些,请问下符合预期吗? metric P R F code 88.07 80.48 84.10 paper 88.8 81.4 84.9 test命令:

python3.7 test.py config/ct/ct_r18_tt.py ckpt/ct_r18_tt/checkpoint.pth.tar

eval命令:

cd eval
bash eval_tt.sh

均使用python3.7

请问你totaltext测试集的标注文件Groundtruth是在哪里下载的,我在官方github这里没找到,只有训练集的

image

https://drive.google.com/file/d/19quCaJGePvTc3yPZ7MAGNijjKfy77-ke/view?usp=sharing 这个就是吧?

我目前也在研读这篇论文,要不要加个联系方式,有问题可以讨论下

dash-uvic commented 2 years ago

@GivanTsai @huangjun12 Is it possible to get the weights from you? I am unable to download the weights from the posted Baidu link.

123cjjjj commented 1 year ago

使用提供的预训练模型,按README文档进行评估,精度比paper稍低一些,请问下符合预期吗? metric P R F code 88.07 80.48 84.10 paper 88.8 81.4 84.9 test命令:

python3.7 test.py config/ct/ct_r18_tt.py ckpt/ct_r18_tt/checkpoint.pth.tar

eval命令:

cd eval
bash eval_tt.sh

均使用python3.7

请问你totaltext测试集的标注文件Groundtruth是在哪里下载的,我在官方github这里没找到,只有训练集的

image

https://drive.google.com/file/d/19quCaJGePvTc3yPZ7MAGNijjKfy77-ke/view?usp=sharing 这个就是吧?

我目前也在研读这篇论文,要不要加个联系方式,有问题可以讨论下

你好,我也在研读这个论文,可以交流下吗?关于ctw数据集真值标注的生成要怎么处理?