Byaidu / PDFMathTranslate

PDF scientific paper translation and bilingual comparison based on font rules and deep learning, preserving formula and figure layout
MIT License
63 stars 9 forks source link

layoutparser 加载模型的时候可以使用GPU吗 #6

Closed Williamsunsir closed 1 day ago

Williamsunsir commented 1 day ago

image 我开了10个进程之后,CPU占用率特别高,如果我开线程的话,在写入每页的翻译结果的时候就会很慢很卡,有时候我都怀疑是我的翻译问题。

Williamsunsir commented 1 day ago

image CPU占用情况,2台服务器,每个服务器开启了10个进程

Byaidu commented 1 day ago

我去,哥们你怎么一下翻译这么多,什么需求这是

Williamsunsir commented 1 day ago

手里有一堆文献需要做双语,目前尝试了N种翻译的方法,其中也包含了pdf转word再转回pdf,我发现还是通过布局识别这种方法,还原还是最好,并且兼顾了翻译速度和翻译效果

Byaidu commented 1 day ago

https://github.com/Layout-Parser/layout-parser/blob/04e28168d820eea3a1ff1e098078323e7b48648b/src/layoutparser/models/effdet/layoutmodel.py#L131

应该是有在用 GPU 的,不确定的话可以这里断一下看看

Williamsunsir commented 1 day ago

https://github.com/Layout-Parser/layout-parser/blob/04e28168d820eea3a1ff1e098078323e7b48648b/src/layoutparser/models/effdet/layoutmodel.py#L131

应该是有在用 GPU 的,不确定的话可以这里断一下看看

等会我做个测试

Byaidu commented 1 day ago

手里有一堆文献需要做双语,目前尝试了N种翻译的方法,其中也包含了pdf转word再转回pdf,我发现还是通过布局识别这种方法,还原还是最好,并且兼顾了翻译速度和翻译效果

确实,感觉现有的翻译服务又贵又烂,都不知道哪来的自信收费,实在没忍住自己花两天时间手搓了一个出来

Williamsunsir commented 1 day ago

我在翻译上做了一些改动,批量翻译非常适合文档翻译这块,我等把代码贡献出来

Byaidu commented 1 day ago

感谢感谢!

Williamsunsir commented 1 day ago

壮大开源项目,开源万岁