Open KorRyu3 opened 1 month ago
cuDNN
や Visual C++ 2019 runtime
をインストールした結果GPUを使って推論ができたが、推論がものすごく遅くなってしまった(fps15とかしか出ない)ため、何かを間違えている可能性がある。
検証動画は上記と変わらず
cudaを入れなおして調べてみる
cudaを入れなおしても結果は変わらず。
cudaのバージョンは推奨通り11.8
, cuDNNも推奨通り8.9.2
を入れた
お家WindowsだとちゃんとGPUの方が推論速度は優っているし、fpsも60近く出るんだけどな... なぞ
@Hoku113 小沼さん経由で質問させていただいたGPUのあれこれはこちらです! この現象は石垣島用PCでのみ発生しているので、来週の火曜日にまた詳しく調査するつもりです。
@KorRyu3 自分のデスクトップで動作確認してみたけど、こちらも問題なく動作した。FPSも40以上は普通に出せてる。 Warnigは出ているから、それのせいでパフォーマンスが低下しているというのもあるし、 PCの熱で一時的にやられたって可能性もある。
Warningのせいなのであればもう少し潜っていく必要はありそう
@Hoku113 本日、こちらの調査を行いました。 結論としては、GPUで推論をすると、タスクマネージャーでGPU使用率が見れなくなりました。
cuda 11.8
の再インストールcuDNN 8.9.2
の再インストールVisual C++
の再インストールパッケージ -> requirements-gpu.txt
パッケージ -> requirements-cpu.txt
onnxruntime-gpu
とonnxruntime
では性能は顕著に変わったため、GPUが使われている可能性があるが使用率を見ることができない。
タスクマネージャーのGPU使用率が上がらない原因が全くの不明なので、一度PCを工場出荷状態に初期化し、再度環境を構築していこうと思っています。
何か重要なデータ等入っているのであれば、それだけ退避させて行おうと考えているので、もしあれば教えて欲しいです!
@Hoku113
BIOSの設定いじったらいけました!
Intelの内蔵グラフィックが悪さをしていた可能性が高いと考えられます。
詳細な原因は不明です。
@KorRyu3 何かしらの原因で内蔵グラフィックと競合するようになっちゃったかな? それとも単に設定の問題の可能性もあるけど。
https://jp.minitool.com/news/how-to-disable-integrated-graphics.html
@Hoku113 そうですね、競合してしまった可能性も十分にあり得ると思います。
もし今後同じようなことが起こったら、内蔵グラフィックをオフにしようと思います!
概要
表題ママ
onnxruntime-gpu
にて、モデルの推論がGPUではなく、CPUを使って推論をしていたvideo/multi_data1.mp4
, アプリの左側でのみ推論今まで(去年)がどうだったかは不明だが、現時点ではGPUを使ったモデルの推論ができない状態にある
CPUで推論していたからfpsが30近くしか出ていなかった?
原因の考察
onnxruntime-gpu
のrequirementsには、cuda 11.8
とcuDNN 8.x
,Visual C++ 2019 runtime
が必要と書かれていたが、石垣島のPCに入っていなかったから?