Closed albin3 closed 2 months ago
cuobjdump info : File '/tmp/mineru_magong/xxx/python/lib/conda/lib/python3.10/site-packages/detectron2/_C.cpython-310-x86_64-linux-gnu.so' does not contain device code
这个日志信息是否正常?
linux系统下torch和paddle同时加速我们目前只保证在Ubuntu22.04LTS下稳定可用,其他系统暂时没办法测试。具体可参考readme文档中设备平台支持一节。
版本是 magic-pdf[full]==0.7.0b1
@myhloli 我没找到ubuntu的环境,帮忙看下ubuntu中有类似cuobjdump info
这种warning么?
你的问题应该和detectron2无关,能给你的建议是参考https://github.com/opendatalab/MinerU/blob/master/docs/README_Ubuntu_CUDA_Acceleration_zh_CN.md 这篇文档,确认自己是在8,9,10中的哪一步遇到报错,来定位兼容性问题出现在cpu,torch还是paddle
8、9没问题,第10步操作以后会导致第9步报错(不管是不是走ocr还是txt模式)
有可能是paddle不兼容,而且引入了新的cuda依赖导致torch的环境失效,建议只使用torch加速,paddle使用cpu版本。如果一定要同时使用加速的话,还请安装ubuntu22.04系统。
cpu实在有点慢
你在Ubuntu里解决这个问题的时候有啥思路或者文档参考么?
我想在centos是解决试试。要是搞定了反馈给你们
没什么特别好的思路,一就是排列组合,cuda,torch,paddle这三个控制变量,换着不同的版本装了再测试,总能找到一个稳定同时加速的版本,你这个我看driver版本470可能有点低,要不试试升级到530以上看看
对你来说,比较简单的方式可能是试试基于Ubuntu镜像的docker,可能可以少走弯路一步到位
通过对比多次安装的site-packages所有文件解决
centos可以启动了,操作步骤:
1. pip install magic-pdf[full]==0.7.0b1 --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
2. python -m pip install paddlepaddle-gpu==3.0.0b1 -i https://www.paddlepaddle.org.cn/packages/stable/cu118/
不出意外的话此时会出现 C++ Traceback (most recent call last): 报错
3. 此时复制 site-packages 中的 paddle 目录到 /tmp/
4. 重新安装 magic-pdf: pip install magic-pdf[full]==0.7.0b1 --extra-index-url https://wheels.myhloli.com -i https://pypi.tuna.tsinghua.edu.cn/simple
安装完成后,解析任何pdf都不会走paddlepaddle-gpu (即,跟第一步装完的效果相同)
即解除了 C++ Traceback (most recent call last): 的报错,但不会走ocr的gpu加速
5. 将 /tmp/paddle 目录复制并覆盖 site-packages/paddle
再解析需要ocr的pdf,就会同时走 paddlepaddle-gpu + torch
Description of the bug | 错误描述
一旦安装panddlepaddle-gpu就会包segmentation错误
How to reproduce the bug | 如何复现
在centos7.2中按照文档安装
Operating system | 操作系统
Linux
Python version | Python 版本
3.10
Software version | 软件版本 (magic-pdf --version)
0.6.x
Device mode | 设备模式
cuda