lcy0604 / CTRNet

This repository is the implementation of "Don't Forget Me: Accurate Background Recovery for Text Removal via Modeling Local-Global Context".
MIT License
79 stars 7 forks source link

老师您好,请问Polygon的版本和安装过程 #11

Open ume-technology opened 1 year ago

ume-technology commented 1 year ago

老师您好,我尝试运行该repo时,碰到Polygon怎么都安装不上去的情况。我查资料试了Polygon2 Polygon3 polygon 等等版本,Windows ,Linux ,mac 都测试了。 但是运行test.py时依然爆出没有Polygon的错误。 我也尝试想从源码安装,但是我没找到Polygon的项目源码。请问老师你的Polygon版本是多少,以及是如何安装的呢? 我不确定问题到底出在了哪里,因为我从readme中提到的 python3.6 to python3.9 都测试。 很无奈没成功,因此特来请教,希望得到老师的帮助。 再次谢过老师!

ume-technology commented 1 year ago

另外老师再请教一个问题,我不是太明白整个代码的测试过,因为我现在在做的是先把流程跑通。我把您发布出来的re-train的model文件放在了 test.py --model 参数下。但是如下的代码我没看懂,为什么在测试阶段,您需要读取 all-labels 数据呢?另外 structure_im 这个数据集我也没看懂。我知道我还有很多细节没注意到导致这些问题的产生。但是还是希望老师先给予我一些明确问题的指点。

` gt = cv2.imread(self.data[index].replace('all_images', 'all_labels')) gt = cv2.cvtColor(gt, cv2.COLOR_BGR2RGB)

    ### structure ###
    structure_im = cv2.imread(self.data[index].replace('all_images', 'structure_im'))
    structure_im = cv2.cvtColor(structure_im, cv2.COLOR_BGR2RGB)`
lcy0604 commented 1 year ago

labels读了没用上,你可以不读或者随便设个对象。structure需要自己去转,参考readme,而且我那里也有提供测试数据可参考

Ume-technology @.***> 于2023年3月28日周二 12:02写道:

另外老师再请教一个问题,我不是太明白整个代码的测试过,因为我现在在做的是先把流程跑通。我把您发布出来的re-train的model文件放在了 test.py --model 参数下。但是如下的代码我没看懂,为什么在测试阶段,您需要读取 all-labels 数据呢?另外 structure_im 这个数据集我也没看懂。我知道我还有很多细节没注意到导致这些问题的产生。但是还是希望老师先给予我一些明确问题的指点。

` gt = cv2.imread(self.data[index].replace('all_images', 'all_labels')) gt = cv2.cvtColor(gt, cv2.COLOR_BGR2RGB)

### structure ###
structure_im = cv2.imread(self.data[index].replace('all_images', 'structure_im'))
structure_im = cv2.cvtColor(structure_im, cv2.COLOR_BGR2RGB)`

— Reply to this email directly, view it on GitHub https://github.com/lcy0604/CTRNet/issues/11#issuecomment-1486175121, or unsubscribe https://github.com/notifications/unsubscribe-auth/AJ7RD3WTMPP64FSI4CL7EULW6JPHBANCNFSM6AAAAAAWJKX4GE . You are receiving this because you are subscribed to this thread.Message ID: @.***>

ume-technology commented 1 year ago

感谢老师的答复。昨天怎么都没看懂您readme中提及的Structure Extraction,我会再去学习。再次谢过!

Chongyu-Liu @.***> 于2023年3月29日周三 09:12写道:

labels读了没用上,你可以不读或者随便设个对象。structure需要自己去转,参考readme,而且我那里也有提供测试数据可参考

Ume-technology @.***> 于2023年3月28日周二 12:02写道:

另外老师再请教一个问题,我不是太明白整个代码的测试过,因为我现在在做的是先把流程跑通。我把您发布出来的re-train的model文件放在了 test.py --model 参数下。但是如下的代码我没看懂,为什么在测试阶段,您需要读取 all-labels 数据呢?另外 structure_im 这个数据集我也没看懂。我知道我还有很多细节没注意到导致这些问题的产生。但是还是希望老师先给予我一些明确问题的指点。

` gt = cv2.imread(self.data[index].replace('all_images', 'all_labels')) gt = cv2.cvtColor(gt, cv2.COLOR_BGR2RGB)

structure

structure_im = cv2.imread(self.data[index].replace('all_images', 'structure_im')) structure_im = cv2.cvtColor(structure_im, cv2.COLOR_BGR2RGB)`

— Reply to this email directly, view it on GitHub https://github.com/lcy0604/CTRNet/issues/11#issuecomment-1486175121, or unsubscribe < https://github.com/notifications/unsubscribe-auth/AJ7RD3WTMPP64FSI4CL7EULW6JPHBANCNFSM6AAAAAAWJKX4GE>

. You are receiving this because you are subscribed to this thread.Message ID: @.***>

— Reply to this email directly, view it on GitHub https://github.com/lcy0604/CTRNet/issues/11#issuecomment-1487806442, or unsubscribe https://github.com/notifications/unsubscribe-auth/ARTUTZZRHERB3YUMG3ZKQSDW6OD7LANCNFSM6AAAAAAWJKX4GE . You are receiving this because you modified the open/close state.Message ID: @.***>

ume-technology commented 1 year ago

老师您好,我已经尝试了获取structure数据的算法代码,我看到这个算法的实现是基于matlab,我刚好本地安装了matlab engine,但是我在运行这个Structure Extraction from Texture via Relative Total Variation给出的matlab代码时,我的整体执行逻辑如下,以及爆出如下错误:

`>>> eng.Demo(nargout=0) 'padarray' Image Processing Toolbox

tsmooth>computeTextureWeights ( 67 ) fx = padarray(fx, [0 1 0], 'post');

tsmooth ( 54 ) [wx, wy] = computeTextureWeights(x, sigma_iter, sharpness);

Demo ( 5 ) S = tsmooth(I,0.015,3);

Traceback (most recent call last): File "", line 1, in File "D:\downWindowsCondaEnvs\mctrnet\lib\site-packages\matlabengineforpython-r2022a-py3.8.egg\matlab\engine\matlabengine.py", line 70, in call return FutureResult(self._engine(), future, nargs, _stdout, File "D:\downWindowsCondaEnvs\mctrnet\lib\site-packages\matlabengineforpython-r2022a-py3.8.egg\matlab\engine\futureresult.py", line 67, in result return self.__future.result(timeout) File "D:\downWindowsCondaEnvs\mctrnet\lib\site-packages\matlabengineforpython-r2022a-py3.8.egg\matlab\engine\fevalfuture.py", line 82, in result self._result = pythonengine.getFEvalResult(self._future,self._nargout, None, out=self._out, err=self.err) matlab.engine.MatlabExecutionError: File F:\mCTRNet\tsmoothing\code\tsmooth.m, line 67, in computeTextureWeights

File F:\mCTRNet\tsmoothing\code_\tsmooth.m, line 54, in tsmooth

File F:\mCTRNet\tsmoothing\code_\Demo.m, line 5, in Demo 未定义与 'double' 类型的输入参数相对应的函数 'padarray'。 `

因此我想请教老师的是,由于我暂时无法理解matlab的编程方式,因此需要请求的是您能否把您转化生成structure数据可运行的的 matlab 代码发一份给我呢?

我的目的只是想生成一些自己的 structure 数据,然后擦除一些自己的数据上的文本。

期待得到老师的指点! 感谢!

lcy0604 commented 1 year ago

你图片路径设错了吧。https://github.com/RenYurui/StructureFlow 可以看下这个项目

Ume-technology @.***> 于2023年3月30日周四 16:29写道:

老师您好,我已经尝试了获取structure数据的算法代码,我看到这个算法的实现是基于matlab,我刚好本地安装了matlab engine,但是我在运行这个Structure Extraction from Texture via Relative Total Variation给出的matlab代码时,我的整体执行逻辑如下,以及爆出如下错误:

`>>> eng.Demo(nargout=0) 'padarray' Image Processing Toolbox

tsmooth>computeTextureWeights ( 67 ) fx = padarray(fx, [0 1 0], 'post');

tsmooth ( 54 ) [wx, wy] = computeTextureWeights(x, sigma_iter, sharpness);

Demo ( 5 ) S = tsmooth(I,0.015,3);

Traceback (most recent call last): File "", line 1, in File "D:\downWindowsCondaEnvs\mctrnet\lib\site-packages\matlabengineforpython-r2022a-py3.8.egg\matlab\engine\matlabengine.py", line 70, in call return FutureResult(self._engine(), future, nargs, _stdout, File "D:\downWindowsCondaEnvs\mctrnet\lib\site-packages\matlabengineforpython-r2022a-py3.8.egg\matlab\engine\futureresult.py", line 67, in result return self.__future.result(timeout) File "D:\downWindowsCondaEnvs\mctrnet\lib\site-packages\matlabengineforpython-r2022a-py3.8.egg\matlab\engine\fevalfuture.py", line 82, in result self._result = pythonengine.getFEvalResult(self._future,self._nargout, None, out=self._out, err=self.

err) matlab.engine.MatlabExecutionError: File F:\mCTRNet\tsmoothing\code\tsmooth.m, line 67, in computeTextureWeights

File F:\mCTRNet\tsmoothing\code_\tsmooth.m, line 54, in tsmooth

File F:\mCTRNet\tsmoothing\code_\Demo.m, line 5, in Demo 未定义与 'double' 类型的输入参数相对应的函数 'padarray'。 `

因此我想请教老师的是,由于我暂时无法理解matlab的编程方式,因此需要请求的是您能否把您转化生成structure数据可运行的的 matlab 代码发一份给我呢?

期待得到老师的指点! 感谢!

— Reply to this email directly, view it on GitHub https://github.com/lcy0604/CTRNet/issues/11#issuecomment-1489903682, or unsubscribe https://github.com/notifications/unsubscribe-auth/AJ7RD3XVHLJMA2LP55DU5ADW6U75RANCNFSM6AAAAAAWJKX4GE . You are receiving this because you commented.Message ID: @.***>

ume-technology commented 1 year ago

感谢老师的指点。我在上述项目找到了更清晰的代码执行过程。 非常感谢老师的指点与帮助!

ume-technology commented 1 year ago

老师您好,我再请教一个问题,对于训练数据中,文字是弯曲性状的,或者说不规则性状的样式,训练数据中的文字坐标是如何识别出来的呢? 您能不能指点一下。 另外我作为图像方向新的菜鸡,我想知道我如果需要使用您这个模型,我需要对我的数据做怎样的数据预处理呢?我看到您训练数据的格式都是统一的大小格式,我是不是也需要把我自己的图像也处理成您发布的数据格式呢,因为我试着把我的数据集识别了文字坐标,生成了all_gts文件,也生成了structure_im文件,但是爆出了tensor无法拼接的异常,因此我也试着去debug了您的model文件夹中的代码,整体的模型实现对我来说流程还是相对复杂的,因此我还是想让您在上述的两个问题上给我指点一二。我的提问不在于我使用了我的数据导致model中的tensor维度出现错误,因为如果是那样,我会再去学习代码。我的目的在于您能否明确的告诉我该模型的数据是否以及需要怎样的数据预处理。 以免我在运行代码之初就走错方向。 感谢老师的耐心!

ume-technology commented 1 year ago

另外由于您的这个模型并没有发布训练过程的打算,我如果能跑通您这个流程,也算是我的一个工具集中的一个工具。 感谢老师您的工作! 还是希望老师能针对上述问题指点一二。

lcy0604 commented 1 year ago

不用额外预处理吧,直接参考我给的测试数据样例去准备就好了,训练数据中的文字坐标是以前原数据集中人工标好的txt文件,可能是你某一个对象读错了的原因吧,检查一下路径。

Ume-technology @.***> 于2023年4月3日周一 16:39写道:

另外由于您的这个模型并没有发布训练过程的打算,我如果能跑通您这个流程,也算是我的一个工具集中的一个工具。 感谢老师您的工作! 还是希望老师能针对上述问题指点一二。

— Reply to this email directly, view it on GitHub https://github.com/lcy0604/CTRNet/issues/11#issuecomment-1493912472, or unsubscribe https://github.com/notifications/unsubscribe-auth/AJ7RD3TYSIH2O2473EQGVC3W7KEF5ANCNFSM6AAAAAAWJKX4GE . You are receiving this because you commented.Message ID: @.***>

ume-technology commented 1 year ago

感谢老师的帮助。我已经运行成功了老师的代码。出现tensor cat异常确实和图像的尺寸有关。 老师给出的数据集的尺寸都是512 * 512,否则就会报错,因此需要尺寸的统一这样的预处理。 但是老师,我好想看到您的这个代码的训练过程。您能不能私发一份给我呢? 如果老师不便在GitHub上答复这个问题,我的微信是18336304089 邮箱是 swhardbewell@qq.com ; 学生感激不尽,千真万确只做学习。无论如何,真的感谢老师的帮助与指导!