fh2019ustc / DocTr

The official code for “DocTr: Document Image Transformer for Geometric Unwarping and Illumination Correction”, ACM MM, Oral Paper, 2021.
Other
345 stars 48 forks source link

illtr train #18

Open an1018 opened 1 year ago

an1018 commented 1 year ago

@fh2019ustc 有几个问题请教一下 1)已经实现geotr,CER指标比repo低,但是SSIM、LD比repo差,这有可能是什么导致的? 2)现在准备复现illtr,docproj数据如何获取矫正后的图片,这个issue提到使用resampling.rectification,但是运行后并不能获取矫正图片 3)下载 ground truth scanned image只有550张,但是img、flow文件夹有2750张,那只用000_0.png矫正的图片训练illtr吗 4)论文中有crop为128*128,overlap=12.5%,但是detail中写到randomly crop,请问这部分是如何randomly crop的 image image

fh2019ustc commented 1 year ago

您好,感谢您对我们工作的关注。 (1)复现性能可能和诸多因素有关。您可以check一下Matlab的版本这些。 (2)对于IllTr,输入是几何矫正后的图片。你可以参考DocProj的代码,用GT的warping flow矫正畸变图。矫正后的图像,作为我们IllTr网络的输入。 (3)不是的。550张GT,每张GT对应了4张畸变的图像。我记得是2750张都可以拿来用。 (4)训练的时候,你可以把几何矫正的结果和GT,随机取对应的一块,构成pair,即可训练光照矫正网络。

希望有帮助,祝好!

MisterTab commented 1 year ago

@an1018 @fh2019ustc 你好,请教下illtr的gt上面提到的“ground truth scanned image只有550张”这个是在哪里下载呢,我得到的DRIC数据集为什么就只有img、img_msak、flow文件夹

fh2019ustc commented 1 year ago

@MisterTab 你可以用gt的flow把img矫正一下,就得到了光照矫正的输入图像了

MisterTab commented 1 year ago

@fh2019ustc 非常感谢你的帮助,但我下载的数据中每组的5张图好像都是被光照污染的图,用flow矫正回来后均没有理想的光照gt。最近在udoc中找到了对应550张扫描图也许可以作为gt。https://pan.baidu.com/share/init?surl=yetkBQvTq4tU4cNIYGLw4w,提取密码:df98

fh2019ustc commented 1 year ago

@MisterTab 我说错了,用gt的flow把img矫正一下,就得到了光照矫正的输入图像了,gt图像本来就在文件里。