用一张A100跑推理，还是显示资源不够，OSError: [Errno 16] Device or resource busy: '.nfs0000000004800543000002b5'

tingxueronghua / ChartLlama-code

MIT License

190 stars 19 forks source link

Closed xuyuhui666 closed 7 months ago

xuyuhui666 commented 7 months ago

用A100的80G卡跑推理，在model.generate()处崩了，显示的是空间不够，请问一下，需要多大gpu能跑推理，还有questions.json能否给个示例，我是按照代码自己构造一个questions.jsonl

xuyuhui666 commented 7 months ago

跟torch有关系，降低了torch版本，变成1.13.0能跑通了，默认的版本报错，v100足够推理了，占显存大概28G