Closed yinochaos closed 5 months ago
你好,可能是 pin memory 的问题,把 Memory Unit 的 pin memory 去掉试一试
你好,可能是 pin memory 的问题,把 Memory Unit 的 pin memory 去掉试一试
你好我把pin memory去掉之后还是一样的报错:
cpu_data = data.contiguous().to("cpu", non_blocking=True)
RuntimeError: CUDA error: out of memory
CUDA kernel errors might be asynchronously reported at some other API call, so the stacktrace below might be incorrect.
For debugging consider passing CUDA_LAUNCH_BLOCKING=1.
Compile with `TORCH_USE_CUDA_DSA` to enable device-side assertions.
其他一些相关环境信息: Python 3.10.14 Driver Version: 470.161.03 CUDA Version: 12.1 torch: 2.2.2+cu121 transformers:4.39.2
抱歉我们目前没有相同的测试环境,不能复现你的问题 或许可以试一试 CUDA 11.8 的 torch
抱歉我们目前没有相同的测试环境,不能复现你的问题 或许可以试一试 CUDA 11.8 的 torch
好的,感谢
@yinochaos 您好,想问这个问题最后怎么解决的呢?
OOM应该是爆内存了,有两种可能:
vm.max_map_count
调大
机器配置:A800 80G,机器内存360G 配置文件:
修改pred进行推理,输入token长度大约为28W左右【token长度在19W以内是不会报错的】 报错信息
请问如何解决这个问题,我看显存最大也就是30+G的占用,是哪里出的问题呢?