search

openlangrid / mlgrid-services

A framework to serve various generative AIs and other machine learning functions via WebSocket and JSONRPC.
Apache License 2.0
2 stars 0 forks source link

GPUを使用するメモリ量に基づいて割り当てられるようにする #23

Open takawitter opened 9 months ago

takawitter commented 9 months ago

現状1プロセス1GPUで割り当てているが、使用メモリ量が足りるのであれば、複数プロセスを同じGPUに割り当てられるようにする。