Open Ashes-of-Midgard opened 5 months ago
我的硬件是单张RTX 3050，使用指令 python -m torch.distributed.launch --use_env -m dipoorlet -I dipoorlet_work_dir/ -N 1000 -D trt -M models/mobilev2_model.onnx -A mse -O dipoorlet_brecq/ --brecq 执行模型量化，产生了CUDA out of memory的运行报错。我检查了所有可以使用的命令行参数，没有发现可以调整数据加载批次的命令，请问有什么手段可以消除这个报错吗？
可以减少-N后的数量
gushiqiao
commented
3 months ago gushiqiao
commented
3 months ago
我的硬件是单张RTX 3050，使用指令 python -m torch.distributed.launch --use_env -m dipoorlet -I dipoorlet_work_dir/ -N 1000 -D trt -M models/mobilev2_model.onnx -A mse -O dipoorlet_brecq/ --brecq 执行模型量化，产生了CUDA out of memory的运行报错。我检查了所有可以使用的命令行参数，没有发现可以调整数据加载批次的命令，请问有什么手段可以消除这个报错吗？